職位描述
數(shù)據(jù)庫(kù)開(kāi)發(fā)JavaPythonScalaHadoopFlinkSpark
職位：數(shù)據(jù)工程負(fù)責(zé)人 –
經(jīng)驗(yàn)：9–12年
角色概述
我們正在尋找一位經(jīng)驗(yàn)豐富的數(shù)據(jù)工程負(fù)責(zé)人（供應(yīng)商），以支持我們的平臺(tái)現(xiàn)代化計(jì)劃。該人員將與內(nèi)部團(tuán)隊(duì)合作，將應(yīng)用程序從Cloudera CDH遷移至基于Kubernetes的全球數(shù)據(jù)平臺(tái)，并確保高質(zhì)量數(shù)據(jù)工程解決方案的及時(shí)交付。
主要職責(zé)
? 為從Cloudera（Spark、Hive、Kafka、Control-M）到Kubernetes技術(shù)棧（Spark 3.5、DBT、Airflow、MinIO/S3、Kafka、Solace）的遷移項(xiàng)目提供技術(shù)領(lǐng)導(dǎo)。
? 領(lǐng)導(dǎo)小型團(tuán)隊(duì)及內(nèi)部工程師，完成項(xiàng)目交付物。
? 參與設(shè)計(jì)、架構(gòu)討論以及遷移計(jì)劃，與內(nèi)部負(fù)責(zé)人協(xié)作。
? 構(gòu)建并評(píng)審高性能、可用于生產(chǎn)環(huán)境的數(shù)據(jù)管道。
? 確保符合標(biāo)準(zhǔn)、合規(guī)性及治理要求。
? 向利益相關(guān)者提供狀態(tài)報(bào)告、問(wèn)題上報(bào)及交付跟蹤。
? 設(shè)計(jì)并實(shí)施遷移/加速框架，實(shí)現(xiàn)端到端自動(dòng)化遷移。
? 持續(xù)優(yōu)化框架，確保穩(wěn)定性、可擴(kuò)展性，并支持多樣化的用例和場(chǎng)景。
? 與各類數(shù)據(jù)應(yīng)用程序協(xié)作，推動(dòng)并支持遷移流程。
必備技能
? 9–12年數(shù)據(jù)工程及大數(shù)據(jù)生態(tài)系統(tǒng)相關(guān)經(jīng)驗(yàn)。
? 熟練掌握Spark、Hive、Kafka、Solace等技術(shù)的實(shí)際應(yīng)用。
? 具備Kubernetes部署及容器化數(shù)據(jù)負(fù)載的工作經(jīng)驗(yàn)。
? 精通Python、Scala和/或Java。
? 熟悉編排工具（Airflow、Control-M）及SQL轉(zhuǎn)換框架（優(yōu)先DBT）。
? 了解對(duì)象存儲(chǔ)（S3、MinIO）。
? 具備數(shù)據(jù)湖庫(kù)格式（Iceberg、Delta Lake、Hudi）的實(shí)際操作經(jīng)驗(yàn)。
? 擁有領(lǐng)導(dǎo)供應(yīng)商或分布式團(tuán)隊(duì)完成企業(yè)項(xiàng)目的經(jīng)驗(yàn)。
經(jīng)驗(yàn)：9–12年
角色概述
我們正在尋找一位經(jīng)驗(yàn)豐富的數(shù)據(jù)工程負(fù)責(zé)人（供應(yīng)商），以支持我們的平臺(tái)現(xiàn)代化計(jì)劃。該人員將與內(nèi)部團(tuán)隊(duì)合作，將應(yīng)用程序從Cloudera CDH遷移至基于Kubernetes的全球數(shù)據(jù)平臺(tái)，并確保高質(zhì)量數(shù)據(jù)工程解決方案的及時(shí)交付。
主要職責(zé)
? 為從Cloudera（Spark、Hive、Kafka、Control-M）到Kubernetes技術(shù)棧（Spark 3.5、DBT、Airflow、MinIO/S3、Kafka、Solace）的遷移項(xiàng)目提供技術(shù)領(lǐng)導(dǎo)。
? 領(lǐng)導(dǎo)小型團(tuán)隊(duì)及內(nèi)部工程師，完成項(xiàng)目交付物。
? 參與設(shè)計(jì)、架構(gòu)討論以及遷移計(jì)劃，與內(nèi)部負(fù)責(zé)人協(xié)作。
? 構(gòu)建并評(píng)審高性能、可用于生產(chǎn)環(huán)境的數(shù)據(jù)管道。
? 確保符合標(biāo)準(zhǔn)、合規(guī)性及治理要求。
? 向利益相關(guān)者提供狀態(tài)報(bào)告、問(wèn)題上報(bào)及交付跟蹤。
? 設(shè)計(jì)并實(shí)施遷移/加速框架，實(shí)現(xiàn)端到端自動(dòng)化遷移。
? 持續(xù)優(yōu)化框架，確保穩(wěn)定性、可擴(kuò)展性，并支持多樣化的用例和場(chǎng)景。
? 與各類數(shù)據(jù)應(yīng)用程序協(xié)作，推動(dòng)并支持遷移流程。
必備技能
? 9–12年數(shù)據(jù)工程及大數(shù)據(jù)生態(tài)系統(tǒng)相關(guān)經(jīng)驗(yàn)。
? 熟練掌握Spark、Hive、Kafka、Solace等技術(shù)的實(shí)際應(yīng)用。
? 具備Kubernetes部署及容器化數(shù)據(jù)負(fù)載的工作經(jīng)驗(yàn)。
? 精通Python、Scala和/或Java。
? 熟悉編排工具（Airflow、Control-M）及SQL轉(zhuǎn)換框架（優(yōu)先DBT）。
? 了解對(duì)象存儲(chǔ)（S3、MinIO）。
? 具備數(shù)據(jù)湖庫(kù)格式（Iceberg、Delta Lake、Hudi）的實(shí)際操作經(jīng)驗(yàn)。
? 擁有領(lǐng)導(dǎo)供應(yīng)商或分布式團(tuán)隊(duì)完成企業(yè)項(xiàng)目的經(jīng)驗(yàn)。
Position: Data Engineering Lead – Vendor
Experience: 9–12 Years
Role Summary
We are looking for an experienced Data Engineering Lead (Vendor) to support our platform
modernization program. The resource will work with internal teams to migrate applications
from Cloudera CDH to a Kubernetes-based global data platform and ensure timely delivery
of high-quality data engineering solutions.
Key Responsibilities
? Provide technical leadership for migration projects from Cloudera (Spark, Hive, Kafka,
Control-M) to Kubernetes stack (Spark 3.5, DBT, Airflow, MinIO/S3, Kafka, Solace).
? Lead a small team and internal engineers to deliver project deliverables.
? Participate in design, architecture discussions, and migration planning with internal
leads.
? Build and review high-performance, production-ready pipelines.
? Ensure adherence to standards, compliance, and governance requirements.
? Provide status reporting, escalations, and delivery tracking to stakeholders.
? Design and implement migration/acceleration framework to automate end to end
migration.
? Continuous enhancements to the frameworks to ensure the stability, scalability and
support for diverse use cases and scenarios.
? Work with various data applications to enable and support the migration process.
Required Skills
? 9–12 years of experience in data engineering and big data ecosystems.
? Strong hands-on expertise in Spark, Hive, Kafka, Solace.
? Working experience with Kubernetes deployments and containerized data workloads.
? Proficiency in Python, Scala, and/or Java.
? Experience in orchestration tools (Airflow, Control-M) and SQL transformation
frameworks (DBT preferred).
? Familiarity with object stores (S3, MinIO).
? Hands on experience of data Lakehouse formats (Iceberg, Delta Lake, Hudi).
? Prior experience leading vendor or distributed teams for enterprise projects.
Experience: 9–12 Years
Role Summary
We are looking for an experienced Data Engineering Lead (Vendor) to support our platform
modernization program. The resource will work with internal teams to migrate applications
from Cloudera CDH to a Kubernetes-based global data platform and ensure timely delivery
of high-quality data engineering solutions.
Key Responsibilities
? Provide technical leadership for migration projects from Cloudera (Spark, Hive, Kafka,
Control-M) to Kubernetes stack (Spark 3.5, DBT, Airflow, MinIO/S3, Kafka, Solace).
? Lead a small team and internal engineers to deliver project deliverables.
? Participate in design, architecture discussions, and migration planning with internal
leads.
? Build and review high-performance, production-ready pipelines.
? Ensure adherence to standards, compliance, and governance requirements.
? Provide status reporting, escalations, and delivery tracking to stakeholders.
? Design and implement migration/acceleration framework to automate end to end
migration.
? Continuous enhancements to the frameworks to ensure the stability, scalability and
support for diverse use cases and scenarios.
? Work with various data applications to enable and support the migration process.
Required Skills
? 9–12 years of experience in data engineering and big data ecosystems.
? Strong hands-on expertise in Spark, Hive, Kafka, Solace.
? Working experience with Kubernetes deployments and containerized data workloads.
? Proficiency in Python, Scala, and/or Java.
? Experience in orchestration tools (Airflow, Control-M) and SQL transformation
frameworks (DBT preferred).
? Familiarity with object stores (S3, MinIO).
? Hands on experience of data Lakehouse formats (Iceberg, Delta Lake, Hudi).
? Prior experience leading vendor or distributed teams for enterprise projects.
工作地點(diǎn)
天津?yàn)I海新區(qū)信環(huán)東路附近
相似職位
- 軟件開(kāi)發(fā)工程師4000-8000元
天津 - 河?xùn)|
山西智元云數(shù)科技有限公司 - 數(shù)據(jù)工程師(Airflow/Python/ETL 英語(yǔ)口語(yǔ)流利)2.7-3.5萬(wàn)
天津 - 濱海新區(qū)
成都邁思信息技術(shù)有限公司 - SAP主數(shù)據(jù)工程師9000-15000元
天津 - 東麗
天津市金橋焊材集團(tuán)股份有限公司 - 大數(shù)據(jù)開(kāi)發(fā)工程師1-1.2萬(wàn)
天津 - 東麗
天津市融創(chuàng)軟通科技股份有限公司 天津
平安證券- 大數(shù)據(jù)開(kāi)發(fā)8000-12000元
天津 - 河西
云脈三六五
熱門(mén)公司推薦
- 霸王茶姬招聘
- 肯德基招聘
- 順豐招聘
- 美團(tuán)招聘
- 京東招聘
- 餓了么招聘
- 比亞迪招聘
- 中國(guó)一汽招聘
- 北京汽車招聘
- 蔚來(lái)招聘
- 東風(fēng)汽車招聘
- 長(zhǎng)城汽車招聘
- 奇瑞汽車招聘
- 理想汽車招聘
- 長(zhǎng)鑫存儲(chǔ)招聘
- 天江藥業(yè)招聘
- 藍(lán)月亮招聘
- 安踏招聘
- TCL招聘
- 海信招聘
- 聯(lián)想招聘
- ?？低曊衅?/a>
- 寧德時(shí)代招聘
- 中興招聘
- 新松招聘
- 京東方招聘
- 申通招聘
- 圓通招聘
- 中通招聘
- 百世物流招聘
- 德邦物流招聘
- 麥當(dāng)勞招聘
- 星巴克招聘
- 海底撈招聘
- 蜜雪冰城招聘
- 瑞幸招聘
- 雀巢招聘
- 騰訊招聘
- 百度招聘
- 快手招聘
- 字節(jié)跳動(dòng)招聘
- 新華網(wǎng)招聘
- 小米招聘
- 招商銀行招聘
- 中信銀行招聘
- 北京銀行招聘
- 興業(yè)銀行招聘
- 交通銀行招聘
- 建發(fā)集團(tuán)招聘
- 中國(guó)移動(dòng)招聘
- 中國(guó)聯(lián)通招聘
- 中國(guó)電信招聘
- 中糧集團(tuán)招聘
- 國(guó)藥控股招聘
- 中廣核招聘
- 中國(guó)船舶招聘
- 強(qiáng)生中國(guó)招聘
- 匯豐中國(guó)招聘
- 宜家招聘
- 立邦中國(guó)招聘
- 伊利招聘
- 青島啤酒招聘
- 京港地鐵招聘
- 寶馬招聘
- 小鵬汽車招聘
- 華為招聘
- 特斯拉招聘
- 吉利招聘
- 奔馳招聘
- 海爾招聘
- 美的招聘
- 京東方招聘
- 施耐德電氣招聘
- 德邦物流招聘
職位發(fā)布者
但女士/資深招聘專員
剛剛活躍立即溝通
成都邁思信息技術(shù)有限公司邁思信息技術(shù)有限公司（MaesInfo）是一家布局全球的專業(yè)軟件產(chǎn)品及軟件開(kāi)發(fā)服務(wù)公司，在美國(guó)硅谷，匹茲堡，歐共體以及中國(guó)的多個(gè)城市都擁有自己的分公司，研發(fā)中心或外包業(yè)務(wù)中心。公司主要提供IT外包（ITO），商業(yè)流程外包（BPO），智能化解決方案，為客戶提供高效率，高質(zhì)量及高可預(yù)期性的服務(wù)。作為外包服務(wù)主要提供商，我們擁有專業(yè)的市場(chǎng)分析員，系統(tǒng)架構(gòu)師，技術(shù)顧問(wèn)，界面設(shè)計(jì)師，軟件工程師，數(shù)據(jù)庫(kù)管理工程師及質(zhì)量管理工程師。我們提供基于面向服務(wù)架構(gòu)（SOA）的企業(yè)信息系統(tǒng)服務(wù)，及具有創(chuàng)造性的用戶界面設(shè)計(jì)，電子商務(wù)軟件開(kāi)發(fā)和事務(wù)流程自動(dòng)化等快速優(yōu)質(zhì)的軟件外包和離岸開(kāi)發(fā)服務(wù)。我們的客戶遍布于制造、金融服務(wù)、醫(yī)療、零售等行業(yè)，其中包括有世界排名前500強(qiáng)的高科技企業(yè)。并且在北美、日本建立了廣泛的外包渠道，在業(yè)界有著突出的成績(jī)。在中國(guó)，我們最大的外包研發(fā)中心建立在西部外包業(yè)務(wù)的福地四川成都，這里孕育著大批優(yōu)秀的軟件專業(yè)人才。在江蘇常州，我們建立了面向華東地區(qū)的軟件研發(fā)及外包業(yè)務(wù)中心，其中常州的軟件研發(fā)項(xiàng)目入選當(dāng)?shù)仡I(lǐng)軍型海歸人才項(xiàng)目，并獲得海歸領(lǐng)軍型人才項(xiàng)目專項(xiàng)資助。與此同時(shí)，常州的外包業(yè)務(wù)中心開(kāi)始承接海外外包項(xiàng)目，特別是在美國(guó)的全球500強(qiáng)企業(yè)的離岸外包業(yè)務(wù)。在深圳及西安，我們正在建設(shè)地區(qū)性軟件研發(fā)及外包業(yè)務(wù)中心，面向地區(qū)市場(chǎng)，并承攬海外業(yè)務(wù)。此外，在美國(guó)硅谷，歐共體及卡爾加里我們都擁有自己的分公司，這使得我們的全球客戶服務(wù)具備地理位置上的絕對(duì)優(yōu)勢(shì)?！aesInfo is a leading provider of professional outsourcing service with a Global Development Center in Chengdu,China and as well as PM offices in the USA and Canada.MaesInfo engages in IT Outsourcing(ITO)and R&D while also developing its software products.MaesInfo's goal is to become China's IBM and we strive to be the leader of China's IT Outsourcing industry.Our Global Software Development Center is located in Chengdu,China and offers a hotbed for nurturing the talent to develop and deploy the world's highest-quality software.With branches in Beijing, Silicon Valley and Calgary,we're well positioned to serve our customers globally around the clock.We offer a disciplined approach to offshore outsourcing for companies all over the world.Our high-quality and low-cost operating model allow us to pass on more than 50% cost savings to our clients while continuing to improve our productivity and predictability.As a leading provider for Enterprise Information Systems based on Service Oriented Architecture(SOA),we stand out with an impressive track record across various industries all over the USA and Japan.Our top-notch team includes Business Analysts,Architects,Process Consultants,Interface Designers,Software Engineers,DBA and QA/QC Engineers etc.歡迎瀏覽公司網(wǎng)站：http://www.maesinfo.com; http://www.maesinfo.cn
公司主頁(yè)