- 爬蟲工程師崗位職責 推薦度：
- 相關推薦
爬蟲崗位職責
在學習、工作、生活中，崗位職責對人們來說越來越重要，崗位職責具有提高內部競爭活力，更好地發現和使用人才的作用。大家知道崗位職責的格式嗎？下面是小編為大家收集的爬蟲崗位職責，歡迎大家借鑒與參考，希望對大家有所幫助。
爬蟲崗位職責1
職位描述：
工作職責：
1、負責設計和開發分布式網絡爬蟲系統，進行多平臺信息的抓取和分析工作；
2、負責網頁信息和app數據抽取、清洗、消重等工作，提升平臺的抓取效率；
3、參與爬蟲核心算法和策略優化，熟悉采集系統的調度策略；
4、實時監控爬蟲的進度和警報反饋。
任職要求：
1、有扎實的.算法和數據結構能力；
2、熟悉爬蟲原理，熟悉常見的反爬蟲技術，有爬蟲相關項目開發經驗者優先；
3、掌握http協議，熟悉html、dom、xpath等常見的數據抽取技術；
4、有大規模數據處理、數據挖掘、信息提取等經驗者優先。
爬蟲崗位職責2
職責描述:
1、負責公司產品的爬蟲架構設計與開發,以及爬蟲策略優化等工作;
2、根據數據產品需求,負責對網頁等大規模文本數據抓取、清洗、存儲等設計開發工作;
任職要求:
1、計算機、數學或統計等相關專業本科及以上學歷,1年以上爬蟲相關工作經驗;
2、熟悉linux平臺,熟練掌握python或java爬蟲開發工作;
3、熟悉靜態、動態網頁等大規模文本數據的.高效信息抽取、清洗、存儲等技術;
4、有反爬相關問題處理經驗,精通常用的爬蟲技術及架構設計,并能快速開發實現;
5、具備良好的編程習慣和算法基礎;
6、善于學習,熱愛技術開發,善于團隊協作,能積極主動地參與公司產品研發等相關工作。
爬蟲崗位職責3
工作內容：
1、基礎系統架構、模塊、庫和組件的研發；
2、分布式海量數據存儲和分析系統的研發和調優；
3、統計分析、報表、saas業務等系統研發；
4、crm、財務結算、工作流等內部管理系統的研發。
能力要求：
1、至少使用php/java/python等一門以上語言，開發過不算太小的項目；
2、熟悉數據結構、db、os、web開發等相關知識，對linux相關的各類技術情有獨鐘；
3、有大規模、高性能互聯網網站系統相關的.設計和開發經驗者優先；
4、具備良好的學習能力和成長潛力，渴望和團隊一起快速成長。
爬蟲崗位職責4
職責描述：
1，負責網絡爬蟲系統的設計與開發
2，對爬取的網頁信息進行數據抽取，清洗和去重等工作
任職要求：
1、2年及以上網絡爬蟲開發經驗，本科及大專學歷，計算機相關專業，2、積極、溝通順暢，工作認真負責
3、扎實的.編程能力，熟悉常用算法和數據結構等基礎知識
4、熟練掌握開發語言java或c/c++，熟悉腳本語言和正則表達式
爬蟲崗位職責5
崗位職責
1.熟悉線程池、并發機制、鎖機制、線程安全原理；
體系知識：網絡io、設計模式、linux、jvm、java類加載機制、java內存模型；
3.爬蟲經驗：webmagic、adsl撥號、正則表達式、脫殼技術、加密、圖片破解、二維碼識別、滑塊驗證碼破解、httpclient、分詞、分布式爬蟲調度、數據質量監控、代理ip調度算法、配置化爬蟲、授權爬蟲、輿情、應用市場、反爬；
4.熟悉http/http、tcp/ip、socket等通訊協議；
5.6年以上軟件開發經驗，至少2年爬蟲開發經驗。
任職要求
1.采集、清洗、監控、配置化、調度、反爬、數據爬取、分詞、檢索等數據采集研發；
2.較強的邏輯思維和發散思維；
3.計算機或相關專業本科及以上學歷。
爬蟲崗位職責6
職位要求
1、計算機相關專業，本科及以上學歷，3年以上爬蟲相關工作經驗；
2、對爬蟲編程有強烈愛好，熟練精通掌握至少1種語言java、python，在需要的情況下能快速上手新語言切換；
3、深入理解tpc/ip、http、以及web登錄認證的機制，有成功破解復雜驗證碼的經驗；
4、有通用分布式爬蟲系統架構和開發經驗，能快速部署新的爬蟲應用；
5、已有2年以上網絡爬蟲或搜索引擎工作經驗，參與過大規模數據爬蟲優先考慮；
6、有app安全、逆向等領域的經驗；
7、具有良好的溝通、團隊協作、計劃能力，有過1—2人的團隊管理經驗。
崗位職責
1、建設完善分布式爬蟲系統；
2、建立通用的.爬蟲框架，能夠快速適應新的爬蟲需求；
3、快速完成對目標資源的數據抓取、處理。
爬蟲崗位職責7
職位要求:
具備良好的計算機基礎，熟悉http協議，具備良好的基礎前端知識;
有過良好的'高并發系統的后臺開發經驗;
具備一定的數據處理/分析經驗，熟悉hadoop、mapreduce、spark等并行計算框架;
了解小程序的基礎框架，有實際開發經驗更優;
掌握c/c++、python等一門或多門語言，有nodejs開發經驗更優;
如果您還具備以下技能，我們會優先考慮:
具備網絡爬蟲系統的開發經驗，有反爬蟲實踐經驗;
具備機器學習框架的開發使用經驗;
熟悉傳統搜索引擎的seo規則。
爬蟲崗位職責8
職責描述：
1.參與爬蟲系統的架構設計與開發；
2.負責執行和開發分布式網絡爬蟲系統，進行多平臺信息的抓取和分析；
3.負責網頁信息和app數據抽取、清洗、消重等工作，提升平臺的抓取效率；
4.參與爬蟲核心算法和策略優化，熟悉采集系統的調度策略；
5.實時監控爬蟲的進度和警報反饋。
任職要求：
1.本科以上學歷，3年以上爬蟲開發相關經驗，熟練使用python或java進行開發；
2.熟練使用正則表達式、css path、xpath等，能夠從結構化的和非結構化的數據中獲取信息；
3.熟練使用mysql數據庫，掌握redis、mongodb、hive等常用nosql技術并具有實戰經驗；
4.熟悉各種抓取技術，包括代理、phantomjs/selenium、驗證碼處理；
5.熟悉整個爬蟲的'設計及實現流程，有從事網絡爬蟲、網頁信息抽取開發經驗，熟悉反爬蟲技術，有分布式爬蟲架構經驗；
6.具有數據挖掘、自然語言處理、信息檢索、機器學習背景者優先；
7.快速學習能力，工作積極主動，有創業熱情和良好的團隊協助能力；
8.需要有大量數據爬取以及高難度反爬經驗，沒有相關經驗的勿擾。
爬蟲崗位職責9
職位描述：
負責設計和開發分布式網絡爬蟲系統
應用多種技術對各平臺進行數據采集
設計數據采集策略，提升數據采集效率及質量
與各行業分析師溝通，分析項目的可行性和討論抓取方案。
兩年以上爬蟲開發相關經驗，本科及以上學歷，計算機相關專業為佳
熟練掌握c#或java開發語言為佳
了解tcp/ip，http及相關網絡協議
熟悉js / html / xpath / json /正則表達式等網頁相關技術
熟悉分布式、多線程、緩存、消息隊列等互聯網技術
熟悉手機應用的數據抓取，手機app開發經驗，加/脫殼經驗為佳
良好的`溝通技能，注重細節，抗壓性強
良好的英語溝通技能為佳
爬蟲崗位職責10
職位描述：
工作職責：
1.開發網頁自動化腳本。
2.負責商品信息結構化，編寫自動化腳本解析網頁信息。
3.商品索引系統：億級sku的庫存價格實時跟蹤同步，并對商品進行智能分類、本地化、圖片處理和去重。
4.設計、開發、測試、部署以及維護并改進各子系統；
5.管理項目優先級并按時交付。
職位要求：
1.全日制統招本科、碩士畢業，1年以上軟件開發工作經驗；
2.熟悉至少一門通用靜態編譯編程語言，c/c++/java/c#/go；
3.熟悉web端基礎標準，包括html、css、javascript、json等；
4.熟悉python或其他腳本語言，有興趣和能力根據需求學習其他編程語言；
5.熟悉unix/linux環境，memcache/redis/mongodb等存儲系統，能獨立設計開發包括前后端交互的`業務子系統；
6.熟悉常見的設計模式、單元測試、持續開發集成、code review，并能在日常工作踐行；
7.了解搜索引擎、電子商務、社交類應用的系統基本架構，能對已有的子系統進行優化調整的優先；
8.活躍的開源項目貢獻者優先。
爬蟲崗位職責11
崗位職責：
1.負責網絡爬蟲的架構設計、開發與優化；
2.負責抓取數據的.清洗、落地、分析；
3.抓取策略算法的更新維護，以及確保數據抽取準確、高效。
任職要求：
1.兩年及以上互聯網或軟件行業工作經驗；
2.理解http協議，熟悉html、dom、xpath；
3.熟悉linux開發環境，至少熟悉python/go/java/中的一種編程語言；
4.有爬蟲、信息抽取、文本分類、大數據處理相關經驗優先；
5.有自然語言處理、機器學習經驗優先；
6.熟悉瀏覽器內核、渲染機制優先；
7.工作認真，細心，有條理，積極性高；良好的溝通能力及團隊合作精神。
爬蟲崗位職責12
職位描述：
1、負責廣告素材線索和垂直類產品爬蟲系統的設計、開發
2、抓取數據的'清洗、落地、分析
3、抓取策略算法的更新維護，以及確保數據抽取準確、高效
任職要求：
1、具備強悍的編碼能力、扎實的數據結構和算法功底
2、熟悉tcp，http協議原理；熟悉ajax工作原理；精通python編程，熟悉一種開源爬蟲框架和源碼；
3、有爬蟲、信息抽取、文本分類、大數據處理相關經驗優先
4、有自然語言處理、機器學習經驗優先
【爬蟲崗位職責】相關文章：
爬蟲工程師崗位職責11-28
《小爬蟲的道理》閱讀答案09-17
讀《小爬蟲的道理》有感05-01
no崗位職責02-15
be崗位職責02-27
崗位職責人事專員崗位職責06-06
產品文案的崗位職責2022崗位職責11-28
廠務助理崗位職責_廠務崗位職責04-21
證券崗位職責11-29