【Hadoop】Yarn 狀態(tài)機以及事件機制
簡(jiǎn)介 Yarn采用了基于事件驅動(dòng)的并發(fā)模型: 所有狀態(tài)機都實(shí)現了EventHandler接口,很多服務(wù)(類(lèi)名通常帶有Service后綴)也實(shí)現了該接口,它們都是事件處理器。 需要異步處理的事件由中央異步調度器(類(lèi)名通常帶有Dispatcher后綴)統一接收/派發(fā),需要同步處理的事件直接交給相應的事件處理器。 某些事件處理器不僅處理事件,也會(huì )向中央異步調度器發(fā)送事件。 事件處理器定義 事件處理器定義如下: @SuppressWarnings("rawty ......
hadoop
|
2023-11-28
0 評論
1,561 瀏覽
【Hadoop】NameNode客戶(hù)端協(xié)議詳解
NameNode客戶(hù)端協(xié)議詳解 協(xié)議的定義主要在類(lèi)NamenodeProtocols中。如下: public interface NamenodeProtocols extends ClientProtocol, DatanodeProtocol, DatanodeLifelineProtocol, NamenodeProtocol, RefreshAuthorizationPolicyProtocol, ReconfigurationProtocol, R ......
hadoop
|
2024-04-25
0 評論
1,533 瀏覽
使用Docker快速搭建Kerberos環(huán)境
Kerberos認證在大數據場(chǎng)景下用的比較多,特別是在Hadoop生態(tài)下,認證基本用的都是Kerberos認證。一般來(lái)講Kerberos認證相對于其他方式的認證安全很多,同樣的認證的時(shí)候性能應該差一點(diǎn)。 國內某著(zhù)名大數據平臺MapReduce服務(wù),頁(yè)叫做云原生數據湖MRS(MapReduce Service),將大數據相關(guān)的軟件做了整合,其中有部分軟件,比如:Redis、Clickhouse等開(kāi)源社區并沒(méi)有支持Kerberos認證的軟件,華為自己做了Kerb ......
Kerberos
Docker
|
2022-07-16
0 評論
1,311 瀏覽
RocksDB 詳解
RocksDB是一個(gè)高性能、可擴展、嵌入式、持久化、可靠、易用和可定制的鍵值存儲庫。它采用LSM樹(shù)數據結構,支持高吞吐量的寫(xiě)入和快速的范圍查詢(xún),可被嵌入到應用程序中,實(shí)現持久化存儲,支持水平擴展,可以在多臺服務(wù)器上部署,實(shí)現集群化存儲,具有高度的可靠性和穩定性,易于使用并可以根據需求進(jìn)行定制和優(yōu)化。RocksDB主要使用到了下面知識:
rocksdb
|
2023-09-23
0 評論
1,002 瀏覽
【Flink】【更新中】狀態(tài)后端和checkpoint
狀態(tài)后端和checkpoint詳解,包括常見(jiàn)checkpoint問(wèn)題處理。
flink
|
2023-08-27
0 評論
1,028 瀏覽
java 17運行jar報錯:java.lang.UnsatisfiedLinkError: Can't load library:
在我的Linux筆記本上面運行一個(gè)jar包的時(shí)候報錯如下: Exception in thread "main" java.lang.UnsatisfiedLinkError: Can't load library: /usr/lib/jvm/java-17-openjdk-amd64/lib/libawt_xawt.so at java.base/java.lang.ClassLoader.loadLibrary(ClassLoader.java:2393 ......
linux
|
2023-09-17
1 評論
1,007 瀏覽
Flink Checkpoint/Savepoint對比
Flink 為作業(yè)的容錯提供 Checkpoint 和 Savepoint 兩種機制。保存點(diǎn)機制(Savepoints)是檢查點(diǎn)機制一種特殊的實(shí)現,它允許你通過(guò)手工方式來(lái)觸發(fā)Checkpoint,并將結果持久化存儲到指定路徑中,主要用于避免Flink集群在重啟或升級時(shí)導致?tīng)顟B(tài)丟失。
flink
|
2023-09-10
0 評論
968 瀏覽
dropout 詳解
Dropout是用于防止過(guò)擬合和提供一種有效近似聯(lián)結指數級不同神經(jīng)網(wǎng)絡(luò )結構的方法,能夠有效的緩解深度網(wǎng)絡(luò )的過(guò)擬合現象.
機器學(xué)習
|
2019-08-03
0 評論
1,990 瀏覽
Auto-Encoding Variational Bayes 筆記
Auto-Encoding Variational Bayes論文筆記
機器學(xué)習
論文
|
2019-08-17
0 評論
2,579 瀏覽
VARIATIONAL RECURRENT AUTO-ENCODERS 詳解
VARIATIONAL RECURRENT AUTO-ENCODERS 筆記
論文
機器學(xué)習
|
2019-08-18
0 評論
2,181 瀏覽
半監督學(xué)習
在實(shí)際生活中,常常會(huì )出現一部分樣本有標記和較多樣本無(wú)標記的情形,例如:做網(wǎng)頁(yè)推薦時(shí)需要讓用戶(hù)標記出感興趣的網(wǎng)頁(yè),但是少有用戶(hù)愿意花時(shí)間來(lái)提供標記。若直接丟棄掉無(wú)標記樣本集,使用傳統的監督學(xué)習方法,常常會(huì )由于訓練樣本的不充足,使得其刻畫(huà)總體分布的能力減弱,從而影響了學(xué)習器泛化性能。那如何利用未標記的樣本數據呢?
機器學(xué)習
|
2019-08-31
0 評論
2,148 瀏覽
Conditional Adversarial Nets 詳解
本文提出在利用 GAN(對抗網(wǎng)絡(luò ))的方法時(shí),在生成模型G和判別模型D中都加入條件信息來(lái)引導模型的訓練,并將這種方法應用于跨模態(tài)問(wèn)題,例如圖像自動(dòng)標注等。
機器學(xué)習
論文
|
2019-10-19
0 評論
2,687 瀏覽
評估方法詳解
模型評估的相關(guān)方法詳解。模型評價(jià)是指對于已經(jīng)建立的一個(gè)或多個(gè)模型,根據其模型的類(lèi)別,使用不同的指標評價(jià)其性能優(yōu)劣的過(guò)程。常用的聚類(lèi)模型評價(jià)指標有ARI評價(jià)法(蘭德系數)、AMI評價(jià)法(互信息)、V-measure評分、FMI評價(jià)法和輪廓系數等。常用的分類(lèi)模型評價(jià)指標有準確率(Accuracy)、精確率(Precision)、召回率(Recall)、F1值(F1 Value)、ROC和AUC等。常用的回歸模型評價(jià)指標有平均絕對誤差、均方根誤差、中值絕對誤差和可 ......
機器學(xué)習
轉載
|
2020-04-25
0 評論
1,961 瀏覽
Redis 6 新特性
Redis6.0.0穩定版出來(lái)了。這一次是從發(fā)布第一個(gè)候選版本到最終發(fā)布穩定版本之間的一個(gè)相對較短的周期。它花了大約四個(gè)月的時(shí)間,這不是一個(gè)小數目的時(shí)間,但與我們過(guò)去的記錄相比,也不是很多。 主要的變化有: SSL、ACLs、RESP3、客戶(hù)端緩存、線(xiàn)程I/O、副本上的無(wú)盤(pán)復制、Redis benchmark中的集群支持和改進(jìn)的Redis cli集群支持、Redis作為Redis的一個(gè)模塊,以及Redis集群代理。
redis
源碼
轉載
|
2020-11-01
0 評論
2,191 瀏覽
【Redis源碼】setbit命令
setbit命令對key所存儲的字符串值,設置指定偏移量上的比特位。 格式: setbit key offset value 返回值: 返回指定偏移量原來(lái)存儲的位。
轉載
redis
命令
源碼
|
2020-11-14
0 評論
2,599 瀏覽