题目

当 HDFS 中小文件数量过多时,如何合并小文件?

答案


当每个小文件数据量比较小的时候,可以通过命令的方式进行小文件的合并如:

hadoop fs -cat hdfs://root/*.txt | hadoop fs -appendToFile - hdfs://root/hdfs_largefile.txt

当数据量比较大的时候建议使用MR进行小文件的合并

写文章

提问题

面试题