大數(shù)據(jù)運(yùn)維工程師的具體職責(zé)描述
大數(shù)據(jù)運(yùn)維工程師的具體職責(zé)描述
大數(shù)據(jù)運(yùn)維工程師需要負(fù)責(zé)公司大數(shù)據(jù)平臺(tái)的運(yùn)維管理工作，集群容量規(guī)劃、擴(kuò)容及性能優(yōu)化。下面是學(xué)習(xí)啦小編為您精心整理的大數(shù)據(jù)運(yùn)維工程師的具體職責(zé)描述。
大數(shù)據(jù)運(yùn)維工程師的具體職責(zé)描述1
職責(zé)：
1、負(fù)責(zé)數(shù)據(jù)平臺(tái)的運(yùn)維管理工作(部署、監(jiān)控、優(yōu)化、故障處理);
2、負(fù)責(zé)Hadoop/Spark/Flink/Elasticsearch/Kafka等系統(tǒng)的架構(gòu)審核、容量規(guī)劃、成本優(yōu)化;
3、負(fù)責(zé)大數(shù)據(jù)平臺(tái)的用戶管理、權(quán)限分配、資源分配;
4、參與數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)的平臺(tái)的設(shè)計(jì)、并給出可執(zhí)行的運(yùn)維方案;
5、參與數(shù)據(jù)平臺(tái)的相關(guān)工具開發(fā)(包括自動(dòng)化部署、監(jiān)控、ETL等);
6、深入理解數(shù)據(jù)平臺(tái)架構(gòu)，發(fā)現(xiàn)并解決故障隱患及性能瓶頸;
7、ETL工具、調(diào)度工具、關(guān)系型數(shù)據(jù)庫(kù)的運(yùn)維。
任職資格：
1、本科以上學(xué)歷，計(jì)算機(jī)軟件相關(guān)專業(yè);
2、1年以上大數(shù)據(jù)相關(guān)組件運(yùn)維經(jīng)驗(yàn)(hadoop/yarn/hbase/hive/spark/kafka等)，1年以上的CDH或HDP維護(hù)經(jīng)驗(yàn)，3年以上系統(tǒng)運(yùn)維相關(guān)經(jīng)驗(yàn);
3、深入理解Linux系統(tǒng)，能獨(dú)立部署開源軟件，熟練掌握一門以上腳本語(yǔ)言(shell/perl/python等)，熟悉python開發(fā)語(yǔ)言優(yōu)先;
4、邏輯思維能力強(qiáng)，做事有條理，責(zé)任心強(qiáng)，工作積極主動(dòng)，執(zhí)行力強(qiáng)，有良好的團(tuán)隊(duì)協(xié)作意識(shí)。
大數(shù)據(jù)運(yùn)維工程師的具體職責(zé)描述2
職責(zé)
1. 負(fù)責(zé)大數(shù)據(jù)ETL系統(tǒng)，運(yùn)維及保障服務(wù)穩(wěn)定可用;
2. 負(fù)責(zé)數(shù)據(jù)采集交換方案以及聯(lián)調(diào)測(cè)試;
3. 負(fù)責(zé)采集交換任務(wù)的評(píng)審和上線;
4. 負(fù)責(zé)及時(shí)排除ETL流程故障，形成知識(shí)庫(kù)，完善運(yùn)維文檔;
5. 負(fù)責(zé)監(jiān)控和優(yōu)化ETL的性能,持續(xù)性地提出改進(jìn)自動(dòng)化運(yùn)維平臺(tái)建議
技能要求
1. 計(jì)算機(jī)科學(xué)或相關(guān)專業(yè)本科及以上學(xué)歷;
2. 熟悉Linux系統(tǒng),熟練編寫shell/perl/python一種或多種腳本語(yǔ)言;
3. 熟悉Hive、Hadoop、MapReduce集群原理，有hadoop大數(shù)據(jù)平臺(tái)運(yùn)維經(jīng)驗(yàn)者優(yōu)先;
4. 熟悉數(shù)據(jù)庫(kù)的性能優(yōu)化、SQL調(diào)優(yōu)，有相應(yīng)經(jīng)驗(yàn);
5. 抗壓能力強(qiáng)，有強(qiáng)烈的責(zé)任心，良好的溝通能力、學(xué)習(xí)能力及團(tuán)隊(duì)合作能力。
大數(shù)據(jù)運(yùn)維工程師的具體職責(zé)描述3
職責(zé)：
1、負(fù)責(zé)分布式大數(shù)據(jù)平臺(tái)產(chǎn)品的運(yùn)維和運(yùn)維開發(fā)，保證其高可用和穩(wěn)定性;
2、負(fù)責(zé)大數(shù)據(jù)系統(tǒng)架構(gòu)的可運(yùn)維性設(shè)計(jì)、容量規(guī)劃、服務(wù)監(jiān)控，持續(xù)優(yōu)化服務(wù)架構(gòu)、集群性能;
3、通過(guò)技術(shù)手段控制和優(yōu)化成本，通過(guò)自動(dòng)化工具及流程提升大數(shù)據(jù)平臺(tái)運(yùn)維效率;
4、為項(xiàng)目開發(fā)人員提供大數(shù)據(jù)技術(shù)指導(dǎo)及解決大數(shù)據(jù)平臺(tái)應(yīng)用中遇到的技術(shù)難題;
任職資格：
1、三年以上大數(shù)據(jù)運(yùn)維相關(guān)工作經(jīng)驗(yàn)，有大型互聯(lián)網(wǎng)公司工作經(jīng)驗(yàn)者優(yōu)先，全日制本科及以上學(xué)歷;
2、熟練掌握至少一門開發(fā)語(yǔ)言，有Java或Python語(yǔ)言開發(fā)經(jīng)驗(yàn)優(yōu)先;
3、精通Hadoop生態(tài)及高性能緩存相關(guān)的各種工具并有實(shí)戰(zhàn)經(jīng)驗(yàn)，包括但不限于Hadoop、HBase、Hive、Presto、Kafka、Spark、Yarn、Flink、Logstash、Flume、ClickHouse等;
4、熟悉Mysql等常用關(guān)系數(shù)據(jù)庫(kù)，熟練編寫SQL語(yǔ)句，有分布式nosql數(shù)據(jù)庫(kù)應(yīng)用、性能調(diào)優(yōu)經(jīng)驗(yàn)優(yōu)先;
5、熟悉Linux環(huán)境，能夠熟悉使用shell腳本;
6、對(duì)大數(shù)據(jù)技術(shù)有強(qiáng)烈興趣，有志于往大數(shù)據(jù)方向深層次發(fā)展;
7、具有很強(qiáng)的責(zé)任心、執(zhí)行力、服務(wù)意識(shí)、學(xué)習(xí)能力和抗壓能力;
8、具備較好的溝通能力、主動(dòng)性及責(zé)任感。
大數(shù)據(jù)運(yùn)維工程師的具體職責(zé)描述4
職責(zé)：
1、負(fù)責(zé)大數(shù)據(jù)集群的日常維護(hù)、監(jiān)控、異常處理等工作，保障集群穩(wěn)定運(yùn)行;
2、負(fù)責(zé)大數(shù)據(jù)批處理管理以及運(yùn)維;
3、負(fù)責(zé)大數(shù)據(jù)集群的用戶管理、權(quán)限管理、資源管理、性能優(yōu)化等;
4、深入理解數(shù)據(jù)平臺(tái)架構(gòu)，發(fā)現(xiàn)并解決重大故障及性能瓶頸，打造一流的數(shù)據(jù)平臺(tái);
5、跟進(jìn)大數(shù)據(jù)前沿技術(shù)，不斷優(yōu)化數(shù)據(jù)集群;
6、有華為大數(shù)據(jù)平臺(tái)運(yùn)維經(jīng)驗(yàn)優(yōu)先;
崗位要求：
1、1年以上大數(shù)據(jù)運(yùn)維或開發(fā)經(jīng)驗(yàn);
2、有良好的計(jì)算機(jī)和網(wǎng)絡(luò)基礎(chǔ)，熟悉linux文件系統(tǒng)、內(nèi)核、性能調(diào)優(yōu)，TCP/IP、HTTP等協(xié)議;
3、熟悉大數(shù)據(jù)生態(tài)，有相關(guān)(HDFS、Hive、Hbase、Sqoop、Spark、Flume、Zookeeper、ES、Kafka)的運(yùn)維及開發(fā)經(jīng)驗(yàn);
4、熟練使用shell、python等腳本語(yǔ)言開發(fā)相關(guān)運(yùn)維管理工具;
5、良好的文檔撰寫習(xí)慣;
大數(shù)據(jù)運(yùn)維工程師的具體職責(zé)描述5
職責(zé)：
1、負(fù)責(zé)公司內(nèi)部及項(xiàng)目中大數(shù)據(jù)集群的構(gòu)建，任務(wù)調(diào)度、監(jiān)控預(yù)警，持續(xù)完善大數(shù)據(jù)平臺(tái)，保證穩(wěn)定性、安全性;
2、負(fù)責(zé)集群容量規(guī)劃、擴(kuò)容、集群性能優(yōu)化及日常巡檢和應(yīng)急值守，參與大數(shù)據(jù)基礎(chǔ)環(huán)境的架構(gòu)設(shè)計(jì)與改進(jìn);
3、深入研究大數(shù)據(jù)業(yè)務(wù)相關(guān)運(yùn)維技術(shù)，探索新的運(yùn)維技術(shù)及發(fā)展方向。
任職要求：
1、熟悉Linux基礎(chǔ)命令操作，能夠獨(dú)立編寫Shell腳本開展日常服務(wù)器的運(yùn)維;
2、熟悉Hadoop生態(tài)圈Hadoop、Kafka、Zookeeper、Hbase、Spark的安裝與調(diào)優(yōu);
3、熟悉軟硬件設(shè)備，網(wǎng)絡(luò)原理，有豐富的大數(shù)據(jù)平臺(tái)部署，性能優(yōu)化和運(yùn)維經(jīng)驗(yàn);
4、工作認(rèn)真負(fù)責(zé)，有較強(qiáng)的學(xué)習(xí)能力，動(dòng)手能力和分析解決問(wèn)題的能力;
5、能夠利用各種開源監(jiān)控工具、運(yùn)維工具，HA、負(fù)載均衡軟件完成工作任務(wù);
6、熟悉JVM虛擬機(jī)調(diào)優(yōu);
8、1年及以上相關(guān)崗位經(jīng)驗(yàn)，要有良好的安全和責(zé)任意識(shí)。
相關(guān)文章：
1.大數(shù)據(jù)運(yùn)維工程師的工作職責(zé)