連日來(lái) YARN是對(duì)Hadoop 1.0框架的重大改進(jìn)向來(lái)一不斷的有小伙伴關(guān)注，不僅如此還衍生出了各大相關(guān)話(huà)題，那么跟著小編來(lái)看看 YARN是對(duì)Hadoop 1.0框架的重大改進(jìn)以及它的相關(guān)資訊吧！
自引入大數(shù)據(jù)概念以來(lái)，它向來(lái)在經(jīng)歷多個(gè)進(jìn)展階段。Hadoop于2005年推出，具有一些初始功能，例如MapReduce處理引擎，同意 大規(guī)模數(shù)據(jù)處理工作負(fù)載分布在集群中。Hadoop本身經(jīng)歷了很多變化，并開(kāi)辟了先進(jìn)的框架和方法。
YARN是Hadoop 2.0的核心組件。它基本上治理集群環(huán)境中的資源。YARN代理與計(jì)算資源(代表應(yīng)用程序)交互，并根據(jù)不同的過(guò)濾條件為每個(gè)應(yīng)用程序分配資源。
在本文中，我們將了解YARN優(yōu)于Hadoop 1.0的主要優(yōu)勢(shì)。
什么是YARN框架?
Y et A nother R esource N egotiator是Hadoop 2.0的核心組件，它治理集群環(huán)境中的資源。Hadoop YARN框架是Hadoop 1.0的高級(jí)版本，可提供更高的性能，這有利于Hadoop生態(tài)系統(tǒng)及與之相關(guān)的所有技術(shù)?，F(xiàn)在我們對(duì)YARN略微熟悉一下，讓我們仔細(xì)看看Hadoop 1.0和YARN。
Hadoop 1.0框架的局限性
為了理解YARN框架的優(yōu)點(diǎn)，了解Hadoop 1.0的工作原理以及該框架的局限性非常重要。
這就是JobTracker的作用所在。它治理集群資源并確定MapReduce作業(yè)執(zhí)行。簡(jiǎn)而言之，JobTracker計(jì)劃并保留任務(wù)槽，并配置和監(jiān)控每個(gè)正在運(yùn)行的任務(wù)。如果任務(wù)失敗，則會(huì)重新分配新的插槽以使任務(wù)重新開(kāi)始。任務(wù)完成后，JobTracker會(huì)釋放其他任務(wù)的插槽并清除暫時(shí)資源。
上述方法的主要缺點(diǎn)：
可用性 - JobTracker是Hadoop 1.0中唯一可用的可用點(diǎn)。這意味著如果JobTracker失敗，默認(rèn)情況下將重啟所有任務(wù)。
有限的可擴(kuò)展性 - 由于JobTracker執(zhí)行多個(gè)任務(wù)并在一臺(tái)機(jī)器上運(yùn)行，因此其他可用的機(jī)器未被使用; 因此，導(dǎo)致可擴(kuò)展性有限。
資源利用率 - 在上述方法中，預(yù)定義了映射槽和減少槽?？赡軙?huì)發(fā)生其中一個(gè)插槽已滿(mǎn)，但其他機(jī)器插槽為空。由于空插槽是保留的，因此它們將處于空暇狀態(tài)而不是為完整插槽而妥協(xié)。這可能會(huì)導(dǎo)致資源利用問(wèn)題。
運(yùn)行非MapReduce應(yīng)用程序 - JobTracker是為MapReduce框架構(gòu)建的應(yīng)用程序。當(dāng)非MapReduce應(yīng)用程序嘗試在此框架中運(yùn)行時(shí)，會(huì)浮現(xiàn)問(wèn)題。應(yīng)用程序需要符合MapReduce框架編程才干成功運(yùn)行。由此產(chǎn)生的一些常見(jiàn)問(wèn)題包括以下問(wèn)題：
暫時(shí)查詢(xún)
實(shí)時(shí)分析
消息傳遞方法
級(jí)聯(lián)失敗 - 當(dāng)節(jié)點(diǎn)數(shù)大于4000時(shí)，會(huì)浮現(xiàn)此框架中的一個(gè)主要問(wèn)題。在這種情況下，會(huì)發(fā)生級(jí)聯(lián)故障，導(dǎo)致整個(gè)集群惡化。
這些是使用此框架時(shí)面臨的一些主要限制。還有一些其他的小限制，沒(méi)有提到。引入YARN框架是為了克服這些限制。
YARN框架及其優(yōu)勢(shì)
Hadoop 2.0中引入的YARN框架旨在分擔(dān)MapReduce的職責(zé)并負(fù)責(zé)集群治理任務(wù)。這同意 MapReduce僅執(zhí)行數(shù)據(jù)處理，從而簡(jiǎn)化流程。
YARN引入了中央資源治理的概念。這同意 多個(gè)應(yīng)用程序在Hadoop上運(yùn)行，共享公共資源治理。
YARN框架的一些主要組成部分是：
ResourceManager - ResourceManager組件是群集中用于該群集中存在的所有資源的協(xié)商者。此外，該組件被分類(lèi)為負(fù)責(zé)治理用戶(hù)作業(yè)的應(yīng)用程序治理器。從Hadoop 2.0開(kāi)始，任何MapReduce作業(yè)都將被視為一個(gè)應(yīng)用程序。
ApplicationMaster - 此組件是作業(yè)或應(yīng)用程序所在的位置。它還治理所有MapReduce作業(yè)，并在作業(yè)處理完成后結(jié)束。
NodeManager - 節(jié)點(diǎn)治理器組件充當(dāng)作業(yè)歷史記錄的服務(wù)器。它負(fù)責(zé)保護(hù)已完成工作的信息。它還跟蹤用戶(hù)的工作以及特定節(jié)點(diǎn)的工作流程。
請(qǐng)記住，YARN框架有不同的組件來(lái)治理不同的任務(wù)，讓我們看看它如何抵消Hadoop 1.0的局限性。
更好地利用資源 - YARN框架沒(méi)有任何固定的任務(wù)槽。它提供了一個(gè)中央資源治理器，同意 您通過(guò)公共資源共享多個(gè)應(yīng)用程序。
運(yùn)行非MapReduce應(yīng)用程序 - 在YARN中，調(diào)度和資源治理功能與數(shù)據(jù)處理組件分離。這同意 Hadoop運(yùn)行不同類(lèi)型的應(yīng)用程序，這些應(yīng)用程序不符合Hadoop框架的編程。Hadoop集群現(xiàn)在能夠運(yùn)行獨(dú)立的交互式查詢(xún)并執(zhí)行更好的實(shí)時(shí)分析。
向后兼容性 - YARN是一個(gè)向后兼容的框架，這意味著MapReduce的任何現(xiàn)有作業(yè)都可以在Hadoop 2.0中執(zhí)行。
JobTracker不再存在 - JobTracker的兩個(gè)主要角色是資源治理和作業(yè)調(diào)度。隨著YARN框架的引入，這些框架現(xiàn)在被分為兩個(gè)獨(dú)立的組件，即：
節(jié)點(diǎn)治理器
的ResourceManager
YARN框架的引入使得為Hadoop開(kāi)辟人員構(gòu)建應(yīng)用程序變得更加容易?，F(xiàn)在，不再需要使用第三方工具實(shí)現(xiàn)應(yīng)用程序。YARN是一個(gè)巨大的變化，它同意 用戶(hù)考慮使用Hadoop 2.0來(lái)創(chuàng)建應(yīng)用程序并更有效地操作數(shù)據(jù)。隨著時(shí)間的推移，將會(huì)有進(jìn)一步的進(jìn)展來(lái)增強(qiáng)Hadoop的可用性。目前，YARN框架將在處理現(xiàn)有問(wèn)題和創(chuàng)建無(wú)障礙環(huán)境方面發(fā)揮關(guān)鍵作用，該環(huán)境比早期版本的MapReduce模型更加通用。