题目

Hadoop分为三个核心部分,每个部分是什么,有什么功能?

答案


三个核心:hdfs,mapreduce和yarn

Hadfs:分布式文件系统
mapreduce:分布式计算框架
yarn:资源调度器

功能:

hdfs由很多服务器联合起来实现其功能,集群中的服务器有各自的角色。用于存储文件,通过目录树来定位文件

Mapreduce采用“分而治之”的思想,来处理大规模的数据。将数据拆解成多个部分,并利用集群的多个节点同时进行数据处理,然后将各个节点得到的中间结果进行汇总,经过进一步的计算(该计算也是并行进行的),得到最终结果

Yarn 为集群提供统一的资源管理功能,如:内存,CPU。

写文章

提问题

面试题