HDFS中shell命令语法格式
HDFS 是Hadoop分布式文件系统，那么对HDFS的操作，就是文件系统的基本操作，比如文件的创建、修改、删除、修改权限等，文件夹的创建、删除、重命名等。对HDFS 的操作命令类似于lLinux 的shell 对文件的操作，如ls、mkdir、rm 等。
我们可以再已经安装HDFS文件系统的操作系统上使用‘hadoop fs’ 看到基本命令，如下图：
继续阅读 »
先上结论：线上机器千万别没事yum update以及同类的升级操作
more
上周五由于跑数据发现某个软件需要更新，需要yum update下，于是手贱把需要更新的都更新了，
结果周一过来发现启动不了了，内核升级了，OP看了半天，实际后来发现这台机器确实因为某个原因，
各方面素质差很多，同样的拉数据，别的机器不挂，它一会就挂了，娇贵得很。得出结论是只能重装。这台机器的角色还挺多，
包括所有导入数据脚本，跑每天的统计，保存的数据结果，同时还有作为HDFS的NameNode和
Hive的入口，当时觉得HDFS数据应该会有冗余，而结果数据可以再重跑就行了，于是决定重装。噩梦开始！
继续阅读 »
在微服务的实践过程中，我们经常会问自己：什么样的应用应该做成微服务？将应用做成微服务时有什么需要注意的？本文针对在Kuberenetes中部署YARN集群遇到的问题，讨论微服务化需要做的工作以及什么样的应用是微服务友好的。
启动 YARN/HDFS 集群
继续阅读 »