自己簡(jiǎn)歷被抄是什么樣的體驗
發(fā)現自己簡(jiǎn)歷被炒是一種什么樣的體驗。今天我就遇到了一個(gè)抄了我簡(jiǎn)歷的,刷新了我的世界觀(guān)。
生活
原創(chuàng )
|
2020-03-12
40 評論
7,635 瀏覽
我在 GitHub 上的開(kāi)源項目
Github Stats 所有開(kāi)源項目 倉庫 項目簡(jiǎn)介 Stars fork 編程語(yǔ)言 hadoop_book Hadoop 學(xué)習筆記。 3 0 flink_book Flink學(xué)習筆記,持續更新。。。 2 0 bolo-fantastic 基于官方的bolo-fantastic皮膚做了定制化修改,滿(mǎn)足自己的審美。 1 1 FreeMarker c_primer_plus c primer plus 學(xué)習 1 0 C dockerFiles 日常使用dock ......
開(kāi)源
GitHub
|
2025-10-08
0 評論
133 瀏覽
Zookeeper啟動(dòng)源碼詳解
簡(jiǎn)介 啟動(dòng)源碼分析 Zookeeper啟動(dòng)的主類(lèi)為QuorumPeerMain.java 。入口函數文為initializeAndRun,如下所示,在往下的核心函數為runFromConfig。 QuorumPeerMain main = new QuorumPeerMain(); try { main.initializeAndRun(args); } catch (IllegalArgumentException e) { // 啟動(dòng)異常處理。 ......
zookeeper
|
2025-07-06
0 評論
532 瀏覽
Journal 源碼詳解
簡(jiǎn)介 Active Namenode與StandBy Namenode之間的綠色區域就是JournalNode,當然數量不一定只有1個(gè),作用相當于NFS共享文件系統.Active Namenode往里寫(xiě)editlog數據,StandBy再從里面讀取數據進(jìn)行同步. JournalNodede 在hdfs架構中的角色: 源碼解析 解讀JournalNodede的原理。JN的核心功能主要包含下面幾個(gè): JN啟動(dòng) 讀寫(xiě)editLog。 JN之間editLog數據 ......
journal
hadoop
源碼
|
2025-10-08
0 評論
113 瀏覽
About Me
自己搭建博客的原因是現有的博客系統不滿(mǎn)足我的要求,簡(jiǎn)單來(lái)說(shuō)就是看著(zhù)現有的博客系統不順眼,現在博客主要內容就是自己平時(shí)看的書(shū)以及各種想法總結等等。還有就是希望博客上面記載的東西能夠幫助到別人。
關(guān)于我
原創(chuàng )
|
2019-09-07
28 評論
17,363 瀏覽
用idea 運行Zookeeper是報錯 com.codahale.metrics.Reservoir找不見(jiàn)
問(wèn)題現象 用idea 運行Zookeeper是報錯 com.codahale.metrics.Reservoir找不見(jiàn)。 問(wèn)題原因 Zookeeper-server下面的pom.xml 里面引用jar的時(shí)候加了<scope>provided</scope>導致IDEA加載不到依賴(lài)的包。所以只要將其注釋掉即可。 解決辦法 將Zookeeper-server下面的pom.xml里面的全部的<scope>provided< ......
zookeeper
|
2025-06-28
0 評論
584 瀏覽
distributedShell 樣例源碼詳解
簡(jiǎn)介 distributedShell是Yarn自帶的應用程序,和MR類(lèi)似,當前工具可以用來(lái)對Yarn進(jìn)行壓測。 使用示例 參考命令如下: ./bin/hadoop jar ./share/hadoop/yarn/hadoop-yarn-applications-distributedshell-3.4.1.jar \ -jar ./share/hadoop/yarn/hadoop-yarn-applications-distributedshell-3. ......
hadoop
Yarn
|
2025-06-15
0 評論
639 瀏覽
HDFS 報錯:Permission denied: user=dr.who, access=WRITE, inode="/":hadoop01
背景 新建的HDFS使用web短上傳文件的時(shí)候報錯: Permission denied: user=dr.who, access=WRITE, inode="/":hadoop01 解決 在core-site.xml中增加下面配置,其中hadoop01為hdfs運行的用戶(hù),修改完重啟hdfs即可。 <property> <name>hadoop.http.staticuser.user</name> <val ......
hadoop
|
2025-06-08
0 評論
444 瀏覽
DistCp源碼解析
說(shuō)明 DistCp(分布式拷貝)是用于大規模集群內部和集群之間拷貝的工具。 它使用Map/Reduce實(shí)現文件分發(fā),錯誤處理和恢復,以及報告生成。 它把文件和目錄的列表作為map任務(wù)的輸入,每個(gè)任務(wù)會(huì )完成源列表中部分文件的拷貝。 由于使用了Map/Reduce方法,這個(gè)工具在語(yǔ)義和執行上都會(huì )有特殊的地方。 這篇文檔會(huì )為常用DistCp操作提供指南并闡述它的工作模型。 源碼詳解 作業(yè)啟動(dòng) 作業(yè)的啟動(dòng)主要包含初始化和作業(yè)提交,在初始化階段主要是list左右需要拷 ......
mapreduce
hadoop
distcp
|
2025-05-25
0 評論
474 瀏覽
leaseManager詳解
簡(jiǎn)介 HDFS作為一個(gè)分布式文件系統,只允許一個(gè)客戶(hù)端同時(shí)對一個(gè)文件進(jìn)行修改操作。租約就是為了實(shí)現獨占的寫(xiě)操作的機制。 HDFS租約的主要實(shí)現類(lèi)是LeaseManager。 Lease 的使用場(chǎng)景如下: 客戶(hù)端在申請創(chuàng )建新的文件或者向文件追加都會(huì )先向NameNode申請獲得inode或者最后一個(gè)塊的信息 在NameNode中FSNamesystem會(huì )調用recoverLeaseInternal檢查文件是否是UnderConstruction,是Under ......
hadoop
hdfs
|
2025-05-25
0 評論
352 瀏覽
webhdfs詳解
簡(jiǎn)介 hdfs提供了一種除了通過(guò)rpc的方式進(jìn)行文件操作的方式之外,還提供了http的方式對文件進(jìn)行操作的方式:webhdfs。支持HDFS 的完整FileSystem / FileContext接口。 其中Router和NameNode都支持了webhdfs的功能,具體實(shí)現有差別。 使用 文件系統URI與HTTP URL WebHDFS的文件系統方案為“ webhdfs:// ”。WebHDFS文件系統URI具有以下格式。 webhdfs://<主機 ......
hadoop
hdfs
|
2025-05-16
0 評論
462 瀏覽
【Hadoop仿真】如何在仿真NodeManager中實(shí)現心跳
Hadoop自帶的hadoop-sls只能用于壓測調度器,可在實(shí)際中影響ResourceManager性能的因素比較多,不能只看調度器。當前項目可構造海量的Fake NM節點(diǎn),用于模擬線(xiàn)上RM的巨大壓力場(chǎng)景,進(jìn)行優(yōu)化。首先需要對NM進(jìn)行仿真。
原創(chuàng )
hadoop
Yarn
ResourceManager
|
2025-04-13
0 評論
367 瀏覽
Hadoop Yarn的ResourceManager壓測指南
Hadoop自帶的hadoop-sls只能用于壓測調度器,可在實(shí)際中影響ResourceManager性能的因素比較多,不能只看調度器。 當前項目可構造海量的Fake NM節點(diǎn),用于模擬線(xiàn)上RM的巨大壓力場(chǎng)景,進(jìn)行優(yōu)化。 詳細參見(jiàn):https://github.com/zeekling/yarnRmTester
hadoop
Yarn
ResourceManager
原創(chuàng )
|
2025-04-13
0 評論
10 瀏覽
Mapredcue作業(yè)啟動(dòng)
Mapreduce作業(yè)啟動(dòng)源碼解析,從源碼開(kāi)始理解Mapreduce。
hadoop
mapreduce
|
2025-03-29
0 評論
340 瀏覽
linux idea 啟動(dòng)慢、運行慢
解決Idea啟動(dòng)慢,運行慢的問(wèn)題。
linux
idea
|
2023-07-15
1 評論
6,911 瀏覽