小文件问题

Hadoop提供了两种容器专门用来解决小文件问题：SequenceFile和MapFile。

SequenceFile

SequenceFile是一种二进制文件，它直接将<key, value>键值对序列化到文件中。通过它对小文件进行合并，将文件名作为key，文件内容作为value序列化到合并的大文件中（但合并后的文件需要遍历才能查看每个小文件的内容）。

Hadoop通过HDFS实现了分布式存储，通过MapReduce实现了分布式计算，而计算任务的执行是通过YARN来完成的。

什么是MapReduce

如果说HDFS是用来存储数据的，那么MapReduce就是用来计算数据的。

Hadoop中虽有五大组件，但整体上分为两派，分别用于HDFS和YARN的管理。

常用Shell命令

查看文件列表。

> hdfs dfs -ls hdfs://172.16.185.176:9000/
# 或者
> hdfs dfs -ls /
> hdfs dfs -ls [-R] /

Hadoop概述

Hadoop是一款实现分布式存储和分布式计算大数据计算平台。

大数据有所谓的4V特征。