前言
记录本人在从零摸索hadoop过程中遇到的问题或者错误，以备后续查看或使用。
问题
问题1：Permission denied: user=single, access=WRITE
问题描述
在Eclipse提交hadoop程序出错：Permission denied: user=***, access=WRITE, inode="staging":root:supergroup:rwxr-xr-x。
继续阅读 »
1）如果系统已经安装java，通过以下方式设置java相关环境变量：
$ ls -lrt /usr/bin/java
lrwxrwxrwx. 1 root root 22 Mar 20 14:49 /usr/bin/java -> /etc/alternatives/java
$ ls -lrt /etc/alternatives/java
lrwxrwxrwx. 1 root root 73 Mar 20 14:49 /etc/alternatives/java -> /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.161-0.b14.el7_4.x86_64/jre/bin/java
继续阅读 »
HDFS中shell命令语法格式
HDFS 是Hadoop分布式文件系统，那么对HDFS的操作，就是文件系统的基本操作，比如文件的创建、修改、删除、修改权限等，文件夹的创建、删除、重命名等。对HDFS 的操作命令类似于lLinux 的shell 对文件的操作，如ls、mkdir、rm 等。
我们可以再已经安装HDFS文件系统的操作系统上使用‘hadoop fs’ 看到基本命令，如下图：
继续阅读 »
对于开发人员，直接使用Java APIs可能是乏味或容易出错的，同时也限制了Java程序员在Hadoop上编程的运用灵活性。于是Hadoop提供了两个解决方案，使得Hadoop编程变得更加容易。
继续阅读 »
Drill：大数据的交互式分析
简介
Drill是开源世界中“交互式”的数据分析系统。目标是可以组建超过10000台机器的集群，并且可以在秒级处理PB级别或者万亿条数据。Hadoop作为大数据处理的事实标准，设计目标是实现大数据处理的高吞吐量。MapReduce处理一个数据，需要分钟级的时间。而业界对交互式的低延迟的数据分析和挖掘提出了新的需求，Google的Dremel希望将处理时间缩短到秒级。当前Dremel已经为Google的bigquery提供服务。Drill作为Google Dremel的开源实现，并非Hadoop的替代品，只是其补充。和Dremel一样，Drill可以高效的处理嵌套式数据格式。此外，Drill加入了额
继续阅读 »
首先你需要知道自己的Linux版本信息，下面介绍一些常用的查看Linux系统版本的命令
1. 查看内核版本命令，以下三个命令任选
```bash
[hadoop@localhost ~]$ cat /proc/version
Linux version 3.10.0-229.el7.x86_64 (builder@kbuilder.dev.centos.org) (gcc version 4.8.2 20140120 (Red Hat 4.8.2-16) (GCC) ) #1 SMP Fri Mar 6 11:36:42 UTC 2015
[hadoop@localhost ~]$ uname -a
Linux localhost
继续阅读 »
Merge
接着上回的Split说，既然有split，那应该对应的有merge吧。然而并没有，也不是完全没有，只是对merge的支持并不像split这么自然，有一些不太稳(kao)定(pu)的工具，可以看[OnlineMerge][1]和[Master initiated automatic region merge][2]。
继续阅读 »
split是什么？
HBase的某个或多个region上的文件量达到一定规模，或者人工想拆分，就会进行split，
就是将各个region上的数据拆成两份（一定是一分为二，如果想分成三份就需要进行两次split），
拆分一定是按某个key值，从key这里一切为二，小于key的在前面，大于等于key的在后面。
继续阅读 »
split的具体过程
切分的操作是由各个region server自己决定，但它们要通知到Master来及时地更新META信息。
以下基本翻译自[这里][1]。
more
继续阅读 »