問答>python+大數據開發(fā)>hadoop1.x和hadoop2.x的區(qū)別是什么,做了哪些改進?

hadoop1.x和hadoop2.x的區(qū)別是什么,做了哪些改進?
來源傳智教育2022年06月29日 14時39分35秒
Hadoop2.x版本為了克服Hadoop1.x中的不足,對其架構進行了以下改進:
(1)Hadoop2.x可以同時啟動多個NameNode,其中一個處于工作(Active)狀態(tài),另一個處于隨時待命(Standby)狀態(tài),這種機制被稱為Hadoop HA(Hadoop高可用)。當一個NameNode所在的服務器宕機時,可以在數據不丟失的情況下,自動切換到另一個NameNode持續(xù)提供服務。
(2)Hadoop2.x將JobTracker中的資源管理和作業(yè)控制分開,分別由ResourceManager(負責所有應用程序的資源分配)和ApplicationMaster(負責管理一個應用程序)實現,即引入了資源管理框架YARN,它是一個通用的資源管理框架,可以為各類應用程序進行資源管理和調度,不僅限于MapReduce一種框架,也可以為其他框架使用,如Tez、Spark、Storm,這種設計不僅能夠增強不同計算模型和各種應用之間的交互,使集群資源得到高效利用,而且能更好地與企業(yè)中已經存在的計算結構集成在一起。
(3)Hadoop2.x中的MapReduce是運行在YARN上的離線處理框架,它的運行環(huán)境不再由JobTracker和TaskTracker等服務組成,而是變成通用資源管理YARN和作業(yè)控制進程ApplicationMaster,從而使MapReduce在速度上和可用性上都有很大的提高。
最新問答
- 2022年06月30日黑盒測試與白盒測試的區(qū)別是啥?
- 2022年06月30日Hive的安裝模式有幾種?
- 2022年06月29日Flume系統(tǒng)要求是什么?
- 2022年06月29日數據發(fā)布與訂閱有哪些主要應用場景?
- 2022年06月29日Zookeeper集群角色有哪三種?
- 2022年06月29日hadoop1.x和hadoop2.x的區(qū)別是什么,做了哪些改進?
- 2022年06月28日znode有哪兩種節(jié)點?
- 2022年06月28日非全新集群選舉的過程是什么樣的?
- 2022年06月28日applicationmaster是什么?
- 2022年06月28日yarn的工作流程是什么?