崗位職責:
1.負責hadoop、flink、spark等集群及其子系統(tǒng)的維護、資源管理、監(jiān)控與優(yōu)化,子系統(tǒng)包括但不限于FLINK、HDFS、HBASE、YARN、SPARK、KAFKA、Doris等。
2.承擔數(shù)千臺規(guī)模Hadoop集群的管理工作,解決大規(guī)模Hadoop集群在應用與運行過程中的出現(xiàn)各種問題,保證集群的高效穩(wěn)定運行。
3.使用hive、spark、flink、mapreduce進行數(shù)據(jù)處理,對相關服務進行調優(yōu)
4.結合AI能力,構建可以直接應用于AI的數(shù)據(jù)智能平臺,服務于公司內AI產(chǎn)品
任職要求:
1、計算機或數(shù)學相關專業(yè)、本科及以上學歷,985/211優(yōu)先
2、了解Hadoop、spark、flink任一框架,對社區(qū)有源碼貢獻者優(yōu)先;
3、精通Java語言、熟悉分布式系統(tǒng)設計、開發(fā)
4、對大數(shù)據(jù)行業(yè)相關技術有持續(xù)學習的熱情,對AI應用有一定的了解,并了解行業(yè)最新技術動態(tài),開源社區(qū)參與者和貢獻者優(yōu)先;
6、思維敏捷,嚴謹、有較強的鉆研學習能力;較好的溝通能力、團隊合作