hadoop1,hadoop2区别

1:HDFS的增强,hadoop1 namenode是单点问题,hadoop2水平扩展出standby的namenode,以便在namenode挂掉时直接activity。

2:hadoop1中的MR 拆分成 YARN以及MR2,主要把1中的JobTracker拆分出来,资源管理融入到YARN的RM中,而任务生命周期管理则拆分成每个应用的ApplictionMaster中。


hadoop2相对于hadoop1,变化是相当大的。

hadoop1的目标只是利用一些旧机器组成集群,充分利用集群的存储以及计算力,可以进行大数据的并行计算。

hadoop2的目标相当于做一个网络分布操作系统,这套系统提供标准接口,能调度并且执行实现标准接口的任何程序(Spark on YARN,HBase on YARN)。同时,他兼容了hadoop1中的MR程序。


发表评论