簡(jiǎn)介 Yarn采用了基于事件驅動(dòng)的并發(fā)模型： 所有狀態(tài)機都實(shí)現了EventHandler接口，很多服務(wù)（類(lèi)名通常帶有Service后綴）也實(shí)現了該接口，它們都是事件處理器。 需要異步處理的事件由中央異步調度器（類(lèi)名通常帶有Dispatcher后綴）統一接收/派發(fā)，需要同步處理的事件直接交給相應的事件處理器。 某些事件處理器不僅處理事件，也會(huì )向中央異步調度器發(fā)送事件。 事件處理器定義 事件處理器定義如下： @SuppressWarnings("rawtypes") @Public @Evolving public interface EventHandler<T extends Event> { void handle(T event); } 只有一個(gè)handler函數，如參是事件： 中央處理器AsyncDispatcher AsyncDispatcher 實(shí)現了接口Dispatcher，Dispatcher中定義了事件Dispatcher的接口。主要提供兩個(gè)功能： 注冊不同類(lèi)型的事件，主要包含事件類(lèi)型和事件處理器。 獲取事件處理器，用來(lái)派發(fā)事件，等待異步執行真正的....

簡(jiǎn)介 ResourceManager(RM)，RM是全局的資源管理器，負責整個(gè)系統的資源管理和分配。主要由以下兩部分組成： 調度器：根據容量、隊列限制條件將系統資源分配給各個(gè)應用。 資源分配的單位是container，container是一個(gè)動(dòng)態(tài)資源單位，它將內存、CPU、磁盤(pán)、網(wǎng)絡(luò )等資源封裝在一起，從而限定了資源使用量。 調度器是一個(gè)可插拔的組件，用戶(hù)可以自己定制，也可以選擇Fair或Capacity調度器. 應用程序管理器：負責管理所有應用程序的以下內容： 應用提交 與調度器協(xié)商資源以啟動(dòng)AM. 監控AM運行狀態(tài)并在失敗時(shí)重啟它 RM內部架構 交互模塊：RM對普通用戶(hù)、管理員、Web提供了三種對外服務(wù)： ClientRMService:為普通用戶(hù)提供服務(wù)，它處理來(lái)自客戶(hù)端的各種RPC，比如: 應用提交 終止應用 獲取應用狀態(tài)等 AdminService:為管理員提供的獨立接口，主要目的是為了防止大量普通用戶(hù)請求阻塞管理員通道，提供如下功能： 動(dòng)態(tài)更新節點(diǎn)列表 更新ACL列表 更新隊列信息等 WebApp:提供一個(gè)Web界面來(lái)讓用戶(hù)更友好的獲知集群和應....

簡(jiǎn)介 本章詳細介紹NameNode啟動(dòng)過(guò)程。主要是代碼級別的解釋。 nameNode的啟動(dòng)主要是有NameNode.java主導的，由main函數開(kāi)始了解。 下面是main函數里面的主要內容，可以看到主要由createNameNode實(shí)現NameNode的啟動(dòng)。 NameNode namenode = createNameNode(argv, null); if (namenode != null) { namenode.join(); } 在createNameNode函數里面主要是分為兩部分： 參數解析：主要關(guān)心解析startOpt，startOpt可以控制具體操作，比如format、rockback等。主要操作如下,后續會(huì )詳細介紹。 FORMAT ("-format"), CLUSTERID ("-clusterid"), GENCLUSTERID ("-genclusterid"), REGULAR ("-regular"), BACKUP ("-backup"), CHECKPOINT("-checkpoint"), UPGRADE ("-upgrade"), ROL....

簡(jiǎn)介 NameNode管理著(zhù)整個(gè)HDFS文件系統的元數據。 從架構設計上看，元數據大致分成兩個(gè)層次：Namespace管理層，負責管理文件系統中的樹(shù)狀目錄結構以及文件與數據塊的映射關(guān)系； 塊管理層，負責管理文件系統中文件的物理塊與實(shí)際存儲位置的映射關(guān)系BlocksMap，如圖1所示。 Namespace管理的元數據除內存常駐外，也會(huì )周期Flush到持久化設備上FsImage文件；BlocksMap元數據只在內存中存在； 當NameNode發(fā)生重啟，首先從持久化設備中讀取FsImage構建Namespace，之后根據DataNode的匯報信息重新構造BlocksMap。 這兩部分數據結構是占據了NameNode大部分JVM Heap空間。 除了對文件系統本身元數據的管理之外，NameNode還需要維護整個(gè)集群的機架及DataNode的信息、Lease管理以及集中式緩存引入的緩存管理等等。 這幾部分數據結構空間占用相對固定，且占用較小。 內存全景 NameNode整個(gè)內存結構大致可以分成四大部分：Namespace、BlocksMap、NetworkTopology及其它 Names....

作業(yè)提交流程 Yarn 調度器 先進(jìn)先出調度器 容量調度器 分配算法 公平調度器 調度原理 缺額 資源分配方式 樣例 : DRF策略

簡(jiǎn)介 Namenode 和 Datanode HDFS采用master/slave架構。一個(gè)HDFS集群是由一個(gè)Namenode和一定數目的Datanodes組成。 Namenode是一個(gè)中心服務(wù)器，負責管理文件系統的名字空間(namespace)以及客戶(hù)端對文件的訪(fǎng)問(wèn)。 集群中的Datanode一般是一個(gè)節點(diǎn)一個(gè)，負責管理它所在節點(diǎn)上的存儲。 HDFS暴露了文件系統的名字空間，用戶(hù)能夠以文件的形式在上面存儲數據。 從內部看，一個(gè)文件其實(shí)被分成一個(gè)或多個(gè)數據塊，這些塊存儲在一組Datanode上。 Namenode執行文件系統的名字空間操作，比如打開(kāi)、關(guān)閉、重命名文件或目錄。它也負責確定數據塊到具體Datanode節點(diǎn)的映射。 Datanode負責處理文件系統客戶(hù)端的讀寫(xiě)請求。在Namenode的統一調度下進(jìn)行數據塊的創(chuàng )建、刪除和復制。 Namenode是所有HDFS元數據的仲裁者和管理者，這樣，用戶(hù)數據永遠不會(huì )流過(guò)Namenode。 Namenode全權管理數據塊的復制，它周期性地從集群中的每個(gè)Datanode接收心跳信號和塊狀態(tài)報告(Blockreport)。 接收到心跳信號意味....