職位描述
反爬蟲(chóng)分布式爬蟲(chóng)爬蟲(chóng)開(kāi)發(fā)數(shù)據(jù)采集數(shù)據(jù)清洗PythonFlaskDjangoSELENIUM MYSQLMongoDB
崗位職責(zé)：
1. 負(fù)責(zé)爬蟲(chóng)項(xiàng)目的需求分析與方案設(shè)計(jì)，針對(duì)各類目標(biāo)網(wǎng)站（如公開(kāi)數(shù)據(jù)平臺(tái)、行業(yè)資訊站點(diǎn)等）制定高效、合規(guī)的爬取策略
2. 獨(dú)立完成爬蟲(chóng)程序的開(kāi)發(fā)、調(diào)試與優(yōu)化，熟練運(yùn)用requests、Scrapy、BeautifulSoup、Selenium等工具，解決反爬機(jī)制（如IP封鎖、驗(yàn)證碼、動(dòng)態(tài)加載）問(wèn)題
3. 負(fù)責(zé)爬取數(shù)據(jù)的清洗、解析、存儲(chǔ)（如MySQL、MongoDB）及質(zhì)量校驗(yàn)，確保數(shù)據(jù)的準(zhǔn)確性、完整性和時(shí)效性
4. 維護(hù)現(xiàn)有爬蟲(chóng)系統(tǒng)的穩(wěn)定運(yùn)行，監(jiān)控?cái)?shù)據(jù)抓取狀態(tài)，及時(shí)處理異常情況（如網(wǎng)站結(jié)構(gòu)變更、爬取效率下降）并迭代優(yōu)化
5. 與數(shù)據(jù)分析師、產(chǎn)品經(jīng)理等協(xié)作，根據(jù)業(yè)務(wù)需求輸出標(biāo)準(zhǔn)化數(shù)據(jù)成果，支撐業(yè)務(wù)決策與產(chǎn)品迭代。
2. 獨(dú)立完成爬蟲(chóng)程序的開(kāi)發(fā)、調(diào)試與優(yōu)化，熟練運(yùn)用requests、Scrapy、BeautifulSoup、Selenium等工具，解決反爬機(jī)制（如IP封鎖、驗(yàn)證碼、動(dòng)態(tài)加載）問(wèn)題
3. 負(fù)責(zé)爬取數(shù)據(jù)的清洗、解析、存儲(chǔ)（如MySQL、MongoDB）及質(zhì)量校驗(yàn)，確保數(shù)據(jù)的準(zhǔn)確性、完整性和時(shí)效性
4. 維護(hù)現(xiàn)有爬蟲(chóng)系統(tǒng)的穩(wěn)定運(yùn)行，監(jiān)控?cái)?shù)據(jù)抓取狀態(tài)，及時(shí)處理異常情況（如網(wǎng)站結(jié)構(gòu)變更、爬取效率下降）并迭代優(yōu)化
5. 與數(shù)據(jù)分析師、產(chǎn)品經(jīng)理等協(xié)作，根據(jù)業(yè)務(wù)需求輸出標(biāo)準(zhǔn)化數(shù)據(jù)成果，支撐業(yè)務(wù)決策與產(chǎn)品迭代。
崗位要求：
1. 本科及以上學(xué)歷，計(jì)算機(jī)、軟件工程、數(shù)據(jù)科學(xué)等相關(guān)專業(yè)優(yōu)先，3-5年P(guān)ython爬蟲(chóng)開(kāi)發(fā)經(jīng)驗(yàn)，有大規(guī)模分布式爬蟲(chóng)、高并發(fā)數(shù)據(jù)抓取項(xiàng)目經(jīng)驗(yàn)者優(yōu)先
2. 精通Python語(yǔ)言基礎(chǔ)，熟練掌握爬蟲(chóng)核心庫(kù)（requests、Scrapy、lxml、PyQuery）及異步爬蟲(chóng)技術(shù)（aiohttp、asyncio）
3. 熟悉常見(jiàn)反爬手段（UA偽裝、Cookie池、IP代理池、滑塊驗(yàn)證識(shí)別），能獨(dú)立設(shè)計(jì)應(yīng)對(duì)方案
4. 掌握HTML/CSS/JavaScript解析，能處理動(dòng)態(tài)渲染頁(yè)面（如Selenium、Playwright、Pyppeteer）
5. 熟練使用至少一種數(shù)據(jù)庫(kù)（MySQL/MongoDB/Redis），具備數(shù)據(jù)清洗、格式轉(zhuǎn)換及批量處理能力
2. 精通Python語(yǔ)言基礎(chǔ)，熟練掌握爬蟲(chóng)核心庫(kù)（requests、Scrapy、lxml、PyQuery）及異步爬蟲(chóng)技術(shù)（aiohttp、asyncio）
3. 熟悉常見(jiàn)反爬手段（UA偽裝、Cookie池、IP代理池、滑塊驗(yàn)證識(shí)別），能獨(dú)立設(shè)計(jì)應(yīng)對(duì)方案
4. 掌握HTML/CSS/JavaScript解析，能處理動(dòng)態(tài)渲染頁(yè)面（如Selenium、Playwright、Pyppeteer）
5. 熟練使用至少一種數(shù)據(jù)庫(kù)（MySQL/MongoDB/Redis），具備數(shù)據(jù)清洗、格式轉(zhuǎn)換及批量處理能力
工作地點(diǎn)
濟(jì)南歷城區(qū)漢浴金谷A4-3-10層
相似職位
濟(jì)南 - 歷城
濟(jì)南職伴互聯(lián)網(wǎng)有限公司- python爬蟲(chóng)工程師1-1.5萬(wàn)
濟(jì)南 - 歷下
山東辰華科技信息有限公司 - Python爬蟲(chóng)開(kāi)發(fā)工程師1-1.5萬(wàn)·13薪
濟(jì)南 - 歷下
山東易構(gòu)軟件技術(shù)股份有限公司 - python爬蟲(chóng)工程師7000-13000元
濟(jì)南 - 歷下
山東辰華科技信息有限公司 - python爬蟲(chóng)工程師7000-11000元
濟(jì)南 - 歷下
煙臺(tái)富美特信息科技股份有限公司
熱門(mén)公司推薦
- 霸王茶姬招聘
- 肯德基招聘
- 順豐招聘
- 美團(tuán)招聘
- 京東招聘
- 餓了么招聘
- 比亞迪招聘
- 中國(guó)一汽招聘
- 北京汽車招聘
- 蔚來(lái)招聘
- 東風(fēng)汽車招聘
- 長(zhǎng)城汽車招聘
- 奇瑞汽車招聘
- 理想汽車招聘
- 長(zhǎng)鑫存儲(chǔ)招聘
- 天江藥業(yè)招聘
- 藍(lán)月亮招聘
- 安踏招聘
- TCL招聘
- 海信招聘
- 聯(lián)想招聘
- 海康威視招聘
- 寧德時(shí)代招聘
- 中興招聘
- 新松招聘
- 京東方招聘
- 申通招聘
- 圓通招聘
- 中通招聘
- 百世物流招聘
- 德邦物流招聘
- 麥當(dāng)勞招聘
- 星巴克招聘
- 海底撈招聘
- 蜜雪冰城招聘
- 瑞幸招聘
- 雀巢招聘
- 騰訊招聘
- 百度招聘
- 快手招聘
- 字節(jié)跳動(dòng)招聘
- 新華網(wǎng)招聘
- 小米招聘
- 招商銀行招聘
- 中信銀行招聘
- 北京銀行招聘
- 興業(yè)銀行招聘
- 交通銀行招聘
- 建發(fā)集團(tuán)招聘
- 中國(guó)移動(dòng)招聘
- 中國(guó)聯(lián)通招聘
- 中國(guó)電信招聘
- 中糧集團(tuán)招聘
- 國(guó)藥控股招聘
- 中廣核招聘
- 中國(guó)船舶招聘
- 強(qiáng)生中國(guó)招聘
- 匯豐中國(guó)招聘
- 宜家招聘
- 立邦中國(guó)招聘
- 伊利招聘
- 青島啤酒招聘
- 京港地鐵招聘
- 寶馬招聘
- 小鵬汽車招聘
- 華為招聘
- 特斯拉招聘
- 吉利招聘
- 奔馳招聘
- 海爾招聘
- 美的招聘
- 京東方招聘
- 施耐德電氣招聘
- 德邦物流招聘
職位發(fā)布者
謝女士/HR
剛剛活躍立即溝通
濟(jì)南職伴互聯(lián)網(wǎng)有限公司濟(jì)南職伴互聯(lián)網(wǎng)有限公司是一家專業(yè)從事互聯(lián)網(wǎng)信息服務(wù)、軟件開(kāi)發(fā)與銷售、信息技術(shù)領(lǐng)域內(nèi)的技術(shù)開(kāi)發(fā)、技術(shù)服務(wù)、技術(shù)咨詢，技術(shù)轉(zhuǎn)讓等、擁有一批長(zhǎng)期專業(yè)從事軟件開(kāi)發(fā)、軟件定制的專業(yè)人才，具有雄厚的經(jīng)濟(jì)實(shí)力，全方位滿足市場(chǎng)信息化需求。公司尊崇“以人為本”的經(jīng)營(yíng)理念，力求“小而美”。公司主營(yíng)業(yè)務(wù)：互聯(lián)網(wǎng)信息服務(wù)、軟件開(kāi)發(fā)與銷售、網(wǎng)絡(luò)技術(shù)、信息技術(shù)鄰域內(nèi)技術(shù)開(kāi)發(fā)、技術(shù)服務(wù)、技術(shù)咨詢、技術(shù)轉(zhuǎn)讓等等。公司管理團(tuán)隊(duì)均畢業(yè)于國(guó)內(nèi)本科院校，擁有多年在國(guó)內(nèi)外知名企業(yè)工作經(jīng)驗(yàn)，具備良好專業(yè)素質(zhì)，核心技術(shù)人員一直專注軟件開(kāi)發(fā)行業(yè)，具有豐富經(jīng)驗(yàn)。公司非常重視人才培養(yǎng)，通過(guò)培訓(xùn)、實(shí)戰(zhàn)、交流等方式促進(jìn)員工發(fā)展，實(shí)現(xiàn)公司及員工的共同進(jìn)步。加入職伴，夢(mèng)想起航！
公司主頁(yè)