職位描述
數(shù)據(jù)采集數(shù)據(jù)清洗PythonScrapyrequests
工作職責(zé)：
1. 負(fù)責(zé)設(shè)計(jì)和搭建高效的分布式爬蟲系統(tǒng)；
2. 開發(fā)、維護(hù)爬蟲系統(tǒng)，包括調(diào)度、抓取、維護(hù)、驗(yàn)證等爬蟲工作；
3. 對(duì)不同網(wǎng)站的防御機(jī)制和反爬蟲策略進(jìn)行深入研究，提煉關(guān)鍵技術(shù)點(diǎn)。
4. 能夠解決協(xié)議反爬、風(fēng)控、人機(jī)識(shí)別等高級(jí)問題。
5. 負(fù)責(zé)爬蟲技術(shù)難點(diǎn)的攻克;
任職要求：
1. 對(duì)Python和計(jì)算機(jī)網(wǎng)絡(luò)有深入理解，能夠熟練運(yùn)用多線程技術(shù)，掌握主流爬中框架；
2. 精通JavaScript逆向工程、虛擬機(jī)、代碼混淆、抽象語法樹(AST)等技術(shù)，并有實(shí)際的JavaScript逆向和分析；
3. 熟悉常見反爬機(jī)制，驗(yàn)證碼識(shí)別，IP代理池應(yīng)用lp池、headers認(rèn)證和cookie等;
4. 能夠分析網(wǎng)絡(luò)鏈路，并處理TLS/HTTP2等協(xié)議流量識(shí)別、IP識(shí)別問題；
5. 了解基本的機(jī)器學(xué)習(xí)算法，可解決一些基礎(chǔ)的圖像驗(yàn)證碼識(shí)別、人機(jī)對(duì)抗等問題；
6. 熟悉Redis、MySQL、MongoDB等數(shù)據(jù)庫技術(shù)，并有SQL或NOSQL數(shù)據(jù)庫實(shí)踐經(jīng)驗(yàn)；
7. 熟悉wireshark tcpdump等進(jìn)行流量分析，了解大部分計(jì)算機(jī)網(wǎng)絡(luò)基本原理；
8. 了解分布式隊(duì)列、中間件等基礎(chǔ)架構(gòu)組件；
1. 負(fù)責(zé)設(shè)計(jì)和搭建高效的分布式爬蟲系統(tǒng)；
2. 開發(fā)、維護(hù)爬蟲系統(tǒng)，包括調(diào)度、抓取、維護(hù)、驗(yàn)證等爬蟲工作；
3. 對(duì)不同網(wǎng)站的防御機(jī)制和反爬蟲策略進(jìn)行深入研究，提煉關(guān)鍵技術(shù)點(diǎn)。
4. 能夠解決協(xié)議反爬、風(fēng)控、人機(jī)識(shí)別等高級(jí)問題。
5. 負(fù)責(zé)爬蟲技術(shù)難點(diǎn)的攻克;
任職要求：
1. 對(duì)Python和計(jì)算機(jī)網(wǎng)絡(luò)有深入理解，能夠熟練運(yùn)用多線程技術(shù)，掌握主流爬中框架；
2. 精通JavaScript逆向工程、虛擬機(jī)、代碼混淆、抽象語法樹(AST)等技術(shù)，并有實(shí)際的JavaScript逆向和分析；
3. 熟悉常見反爬機(jī)制，驗(yàn)證碼識(shí)別，IP代理池應(yīng)用lp池、headers認(rèn)證和cookie等;
4. 能夠分析網(wǎng)絡(luò)鏈路，并處理TLS/HTTP2等協(xié)議流量識(shí)別、IP識(shí)別問題；
5. 了解基本的機(jī)器學(xué)習(xí)算法，可解決一些基礎(chǔ)的圖像驗(yàn)證碼識(shí)別、人機(jī)對(duì)抗等問題；
6. 熟悉Redis、MySQL、MongoDB等數(shù)據(jù)庫技術(shù)，并有SQL或NOSQL數(shù)據(jù)庫實(shí)踐經(jīng)驗(yàn)；
7. 熟悉wireshark tcpdump等進(jìn)行流量分析，了解大部分計(jì)算機(jī)網(wǎng)絡(luò)基本原理；
8. 了解分布式隊(duì)列、中間件等基礎(chǔ)架構(gòu)組件；
工作地點(diǎn)
成都市-郫都區(qū)-古楠街97號(hào)
相似職位
- 爬蟲工程師/Python工程師（可遠(yuǎn)程辦公）6000-10000元
成都 - 武侯
成都愛車保信息技術(shù)有限公司 - 爬蟲工程師-成都1.2-1.3萬
成都 - 武侯
軟通動(dòng)力信息技術(shù)(集團(tuán))股份有限公司 - 數(shù)據(jù)分析崗（爬蟲工程師）8000-13000元
成都 - 郫都
中鐵科學(xué)研究院集團(tuán)有限公司 - python逆向爬蟲工程師2.3-2.8萬
成都 - 武侯
四川華盛云端航空服務(wù)有限公司 - 初級(jí)AI爬蟲工程師6000-9000元
成都 - 青羊
掌起(成都)供應(yīng)鏈管理有限公司 - python爬蟲工程師5000-10000元·13薪
成都 - 武侯
成都圖巧科技有限公司
熱門公司推薦
- 霸王茶姬招聘
- 肯德基招聘
- 順豐招聘
- 美團(tuán)招聘
- 京東招聘
- 餓了么招聘
- 比亞迪招聘
- 中國一汽招聘
- 北京汽車招聘
- 蔚來招聘
- 東風(fēng)汽車招聘
- 長城汽車招聘
- 奇瑞汽車招聘
- 理想汽車招聘
- 長鑫存儲(chǔ)招聘
- 天江藥業(yè)招聘
- 藍(lán)月亮招聘
- 安踏招聘
- TCL招聘
- 海信招聘
- 聯(lián)想招聘
- ?？低曊衅?/a>
- 寧德時(shí)代招聘
- 中興招聘
- 新松招聘
- 京東方招聘
- 申通招聘
- 圓通招聘
- 中通招聘
- 百世物流招聘
- 德邦物流招聘
- 麥當(dāng)勞招聘
- 星巴克招聘
- 海底撈招聘
- 蜜雪冰城招聘
- 瑞幸招聘
- 雀巢招聘
- 騰訊招聘
- 百度招聘
- 快手招聘
- 字節(jié)跳動(dòng)招聘
- 新華網(wǎng)招聘
- 小米招聘
- 招商銀行招聘
- 中信銀行招聘
- 北京銀行招聘
- 興業(yè)銀行招聘
- 交通銀行招聘
- 建發(fā)集團(tuán)招聘
- 中國移動(dòng)招聘
- 中國聯(lián)通招聘
- 中國電信招聘
- 中糧集團(tuán)招聘
- 國藥控股招聘
- 中廣核招聘
- 中國船舶招聘
- 強(qiáng)生中國招聘
- 匯豐中國招聘
- 宜家招聘
- 立邦中國招聘
- 伊利招聘
- 青島啤酒招聘
- 京港地鐵招聘
- 寶馬招聘
- 小鵬汽車招聘
- 華為招聘
- 特斯拉招聘
- 吉利招聘
- 奔馳招聘
- 海爾招聘
- 美的招聘
- 京東方招聘
- 施耐德電氣招聘
- 德邦物流招聘
職位發(fā)布者
田蜜/人事經(jīng)理
立即溝通
中鐵科學(xué)研究院集團(tuán)有限公司中鐵科研院是中國中鐵股份有限公司旗下唯一的科研企業(yè)，前身是鐵道部1959年成立的隧道科學(xué)技術(shù)研究所（四川成都）、坍方科學(xué)技術(shù)研究所（陜西西安）和1960年成立的高原鐵路科學(xué)技術(shù)研究所（青海格爾木），1961年分別組建成立鐵道部科學(xué)研究院西南所、西北所，2000年由科研事業(yè)單位轉(zhuǎn)制進(jìn)入中國鐵路工程總公司并分別成立中鐵西南院、西北院，2014年8月合并重組成立中鐵科研院。中鐵科研院在國內(nèi)首次引入隧道施工“新奧法”，率先研究和應(yīng)用“預(yù)應(yīng)力錨索抗滑樁技術(shù)”，為攻克青藏鐵路高原凍土世界性難題作出了突出貢獻(xiàn)。自主研發(fā)了HSP超前地質(zhì)預(yù)報(bào)儀、地層CT探測儀、軌道管養(yǎng)智能機(jī)器人、智慧工地管控平臺(tái)、隧道施工監(jiān)測及防坍塌預(yù)警系統(tǒng)等高新技術(shù)產(chǎn)品。形成了土木工程全生命周期的科技綜合服務(wù)，可提供設(shè)計(jì)咨詢、產(chǎn)業(yè)咨詢、情報(bào)咨詢、科研與技術(shù)服務(wù)、監(jiān)理、特種施工、運(yùn)營維管、數(shù)智化建設(shè)、網(wǎng)絡(luò)安全、環(huán)境保護(hù)、文化遺產(chǎn)保護(hù)、鄉(xiāng)村振興、科技成果轉(zhuǎn)化等一攬子綜合技術(shù)服務(wù)。獲得各類科技成果獎(jiǎng)577項(xiàng)，其中國家級(jí)獎(jiǎng)項(xiàng)37項(xiàng)，省部級(jí)獎(jiǎng)項(xiàng)248項(xiàng)。擁有有效專利、軟件著作權(quán)等826項(xiàng)，主持或參編國家部委、行業(yè)規(guī)范135項(xiàng)，主編、參編、翻譯著作84部。主持和參建3個(gè)國家級(jí)實(shí)驗(yàn)室，建設(shè)8個(gè)省部級(jí)實(shí)驗(yàn)室。構(gòu)建“3+13+N”研發(fā)架構(gòu)，組建13個(gè)專業(yè)研發(fā)中心、28個(gè)專業(yè)研發(fā)團(tuán)隊(duì)，瞄準(zhǔn)23個(gè)研發(fā)方向。擁有博士、碩士研究生500余人，占員工總數(shù)50%，擁有各類專家300余人，博士碩士生導(dǎo)師21人。首席專家嚴(yán)金秀是第16屆國際隧道與地下空間協(xié)會(huì)主席，也是首位當(dāng)選的中國專家。中鐵科研院著力建設(shè)中國中鐵智能建造專業(yè)研發(fā)中心、國際隧道和地下空間咨詢中心、“雙碳”專業(yè)研發(fā)分中心，致力于打造中鐵隧安、中鐵防災(zāi)、中鐵質(zhì)檢、中鐵文保、中鐵健康維管、智能建造、中鐵網(wǎng)安、中鐵智庫、低碳環(huán)保等品牌，成為科技創(chuàng)新引領(lǐng)能力突出、服務(wù)支撐中國中鐵主責(zé)主業(yè)作用顯著、科技產(chǎn)業(yè)化優(yōu)勢明顯的科技產(chǎn)業(yè)集團(tuán)。
公司主頁