1. 負(fù)責(zé)大數(shù)據(jù)平臺的架構(gòu)設(shè)計、搭建與優(yōu)化、故障處理,基于 Hadoop 生態(tài)系統(tǒng)進行各類技術(shù)組件選型與規(guī)劃。
2. 負(fù)責(zé)大數(shù)據(jù)平臺雙棧間的數(shù)據(jù)采集、存儲、計算、分析的方案設(shè)計與落地。
3. 解決大數(shù)據(jù)平臺在性能、穩(wěn)定性、可擴展性方面的關(guān)鍵技術(shù)問題。
4. 制定大數(shù)據(jù)平臺及相關(guān)組件的使用規(guī)范,推動規(guī)范在各個應(yīng)用項目中落地。
5.牽頭集團雙棧大數(shù)據(jù)平臺多租戶整體管理機制制定,統(tǒng)籌管理集團大數(shù)據(jù)平臺。
任職要求
1. 本科及以上學(xué)歷,計算機、信息技術(shù)、數(shù)據(jù)科學(xué)等相關(guān)專業(yè)。
2. 5年以上基于 開源 Hadoop 生態(tài)(HDFS、MapReduce、YARN、Hive、Spark、Flink 、HBase、Iceberg、Hudi等)的開發(fā)與運維經(jīng)驗。
3. 有大型數(shù)據(jù)平臺架構(gòu)設(shè)計與實施經(jīng)驗,熟悉分布式系統(tǒng)原理及優(yōu)化方法。
4. 具備豐富的項目落地經(jīng)驗,能夠獨立完成從需求分析到架構(gòu)設(shè)計、開發(fā)實現(xiàn)、上線運維的全流程。
5. 熟悉數(shù)據(jù)倉庫建模、ETL 開發(fā)、數(shù)據(jù)治理及性能調(diào)優(yōu)。
6. 具備較強的技術(shù)方案撰寫能力和跨部門溝通協(xié)調(diào)能力。
7. 對新技術(shù)有持續(xù)學(xué)習(xí)熱情,能快速跟進大數(shù)據(jù)領(lǐng)域的發(fā)展趨勢。
加分項
- 有大規(guī)模集群(500+節(jié)點)管理經(jīng)驗。
- 熟悉華為、星環(huán)等主流大數(shù)據(jù)方案。
- 熟悉主流的mpp數(shù)據(jù)庫,例如華為DWS等