对于开发人员,直接使用Java APIs可能是乏味或容易出错的,同时也限制了Java程序员在Hadoop上编程的运用灵活性。于是Hadoop提供了两个解决方案,使得Hadoop编程变得更加容易。
继续阅读 »
先上结论:线上机器千万别没事yum update以及同类的升级操作
more
上周五由于跑数据发现某个软件需要更新,需要yum update下,于是手贱把需要更新的都更新了,
结果周一过来发现启动不了了,内核升级了,OP看了半天,实际后来发现这台机器确实因为某个原因,
各方面素质差很多,同样的拉数据,别的机器不挂,它一会就挂了,娇贵得很。得出结论是只能重装。这台机器的角色还挺多,
包括所有导入数据脚本,跑每天的统计,保存的数据结果,同时还有作为HDFS的NameNode和
Hive的入口,当时觉得HDFS数据应该会有冗余,而结果数据可以再重跑就行了,于是决定重装。噩梦开始!
继续阅读 »