管理者范文网 > 安全管理 > 安全管理 > 岗位要求
栏目

爬虫岗位要求15篇

发布时间:2023-01-09 热度:57

爬虫岗位要求

第1篇 高级python工程师/爬虫/spider职位描述与岗位职责任职要求

职位描述:

工作内容:

1、 基础系统架构、模块、库和组件的研发;

2、 分布式海量数据存储和分析系统的研发和调优;

3、统计分析、报表、saas业务等系统研发;

4、crm、财务结算、工作流等内部管理系统的研发。

能力要求:

1、至少使用php/java/python等一门以上语言,开发过不算太小的项目;

2、熟悉数据结构、db、os、web开发等相关知识,对linu_相关的各类技术情有独钟;

3、有大规模、高性能互联网网站系统相关的设计和开发经验者优先;

4、具备良好的学习能力和成长潜力,渴望和团队一起快速成长。

第2篇 网络爬虫工程师职位描述与岗位职责任职要求

职位描述:

职责描述:

1,负责网络爬虫系统的设计与开发

2,对爬取的网页信息进行数据抽取,清洗和去重等工作

任职要求:

1、2年及以上网络爬虫开发经验,本科及大专学历,计算机相关专业,

2、积极、沟通顺畅,工作认真负责

3、扎实的编程能力,熟悉常用算法和数据结构等基础知识

4、熟练掌握开发语言java或c/c++,熟悉脚本语言和正则表达式

第3篇 数据爬虫工程师职位描述与岗位职责任职要求

职位描述:

工作职责:

1.开发网页自动化脚本。

2.负责商品信息结构化,编写自动化脚本解析网页信息。

3.商品索引系统:亿级sku的库存价格实时跟踪同步,并对商品进行智能分类、本地化、图片处理和去重。

4.设计、开发、测试、部署以及维护并改进各子系统;

5.管理项目优先级并按时交付。

职位要求:

1.全日制统招本科、硕士毕业,1年以上软件开发工作经验;

2.熟悉至少一门通用静态编译编程语言,c/c++/java/c#/go;

3.熟悉web端基础标准,包括html、css、javascript、json等;

4.熟悉python或其他脚本语言,有兴趣和能力根据需求学习其他编程语言;

5.熟悉uni_/linu_环境,memcache/redis/mongodb等存储系统,能独立设计开发包括前后端交互的业务子系统;

6.熟悉常见的设计模式、单元测试、持续开发集成、code review,并能在日常工作践行;

7.了解搜索引擎、电子商务、社交类应用的系统基本架构,能对已有的子系统进行优化调整的优先;

8.活跃的开源项目贡献者优先。

第4篇 爬虫技术经理职位描述与岗位职责任职要求

职位描述:

职位描述:

1、负责核心爬虫系统架构设计、数据库设计;

2、负责网络爬虫的核心技术研究和开发,参与各种核心搜索策略、算法、数据聚类、重组的设计与开发;

3、设计策略和算法,提升网页抓取的效率和质量;

4、分析爬虫系统的技术缺陷,对策略架构做出合理地调整和改进;

岗位要求:

1、 全日制本科及以上学历,计算机相关专业;

2、精通java、c#、go、python其中一种,熟悉常用的信息抓取策略和数据重组算法;

3、精通信息抓取和整合技术,从结构化的和非结构化的数据中获取信息;

4、熟悉代理技术、验证码技术;

5、熟悉mongodb、hbase、hive等nosql数据库,了解关系型数据库优先。

第5篇 网络爬虫岗位职责网络爬虫职责任职要求

网络爬虫岗位职责

工作内容:负责小程序搜索爬虫系统的建设,包括小程序爬虫策略的开发,分布式爬虫系统的建设,数据分析及处理等,为小程序搜索提供丰富优质的基础数据。

任职要求:

职位要求:

具备良好的计算机基础,熟悉http协议,具备良好的基础前端知识;

有过良好的高并发系统的后台开发经验;

具备一定的数据处理/分析经验,熟悉hadoop、mapreduce、spark等并行计算框架;

了解小程序的基础框架,有实际开发经验更优;

掌握 c/c++、python 等一门或多门语言,有nodejs开发经验更优;

如果您还具备以下技能,我们会优先考虑:

具备网络爬虫系统的开发经验,有反爬虫实践经验;

具备机器学习框架的开发使用经验;

熟悉传统搜索引擎的seo规则。

第6篇 资深爬虫工程师岗位职责及职位要求

资深爬虫工程师职位要求

1、计算机相关专业,本科及以上学历,3年以上爬虫相关工作经验;

2、对爬虫编程有强烈爱好,熟练精通掌握至少1种语言java、python,在需要的情况下能快速上手新语言切换;

3、深入理解tpc/ip、http、以及web登录认证的机制,有成功破解复杂验证码的经验;

4、有通用分布式爬虫系统架构和开发经验,能快速部署新的爬虫应用;

5、已有2年以上网络爬虫或搜索引擎工作经验,参与过大规模数据爬虫优先考虑;

6、有app安全、逆向等领域的经验;

7、具有良好的沟通、团队协作、计划能力, 有过1-2人的团队管理经验。

资深爬虫工程师岗位职责

1、建设完善分布式爬虫系统;

2、建立通用的爬虫框架,能够快速适应新的爬虫需求;

3、快速完成对目标资源的数据抓取、处理。

第7篇 资深爬虫工程师职位描述与岗位职责任职要求

职位描述:

职责描述:

1. 参与爬虫系统的架构设计与开发;

2. 负责执行和开发分布式网络爬虫系统,进行多平台信息的抓取和分析;

3. 负责网页信息和app数据抽取、清洗、消重等工作,提升平台的抓取效率;

4. 参与爬虫核心算法和策略优化,熟悉采集系统的调度策略;

5. 实时监控爬虫的进度和警报反馈。

任职要求:

1. 本科以上学历,3年以上爬虫开发相关经验,熟练使用python或java进行开发;

2. 熟练使用正则表达式、css path、_path等,能够从结构化的和非结构化的数据中获取信息;

3. 熟练使用mysql数据库,掌握redis、mongodb、hive等常用nosql技术并具有实战经验;

4. 熟悉各种抓取技术,包括代理、phantomjs/selenium、验证码处理;

5. 熟悉整个爬虫的设计及实现流程,有从事网络爬虫、网页信息抽取开发经验,熟悉反爬虫技术,有分布式爬虫架构经验;

6. 具有数据挖掘、自然语言处理、信息检索、机器学习背景者优先;

7. 快速学习能力,工作积极主动,有创业热情和良好的团队协助能力;

8. 需要有大量数据爬取以及高难度反爬经验,没有相关经验的勿扰。

第8篇 python爬虫工程师职位描述与岗位职责任职要求

职位描述:

工作职责:

1、负责设计和开发分布式网络爬虫系统,进行多平台信息的抓取和分析工作;

2、负责网页信息和app数据抽取、清洗、消重等工作,提升平台的抓取效率;

3、参与爬虫核心算法和策略优化,熟悉采集系统的调度策略;

4、实时监控爬虫的进度和警报反馈。

任职要求:

1、有扎实的算法和数据结构能力;

2、熟悉爬虫原理,熟悉常见的反爬虫技术,有爬虫相关项目开发经验者优先;

3、掌握http协议,熟悉html、dom、_path等常见的数据抽取技术;

4、有大规模数据处理、数据挖掘、信息提取等经验者优先。

第9篇 爬虫工程师(p6-p8)职位描述与岗位职责任职要求

职位描述:

岗位职责:

1.负责网络爬虫的架构设计、开发与优化;

2.负责抓取数据的清洗、落地、分析;

3.抓取策略算法的更新维护,以及确保数据抽取准确、高效。

任职要求:

1.两年及以上互联网或软件行业工作经验;

2.理解 http 协议,熟悉 html、dom、_path;

3.熟悉 linu_ 开发环境,至少熟悉 python/go/java/node.js 中的一种编程语言;

4.有爬虫、信息抽取、文本分类、大数据处理相关经验优先;

5.有自然语言处理、机器学习经验优先;

6.熟悉浏览器内核、渲染机制优先;

7.工作认真,细心,有条理,积极性高;良好的沟通能力及团队合作精神。

第10篇 广告爬虫工程师职位描述与岗位职责任职要求

职位描述:

工作职责:

1、负责广告素材线索和垂直类产品爬虫系统的设计、开发

2、抓取数据的清洗、落地、分析

3、抓取策略算法的更新维护,以及确保数据抽取准确、高效

任职要求:

1、具备强悍的编码能力、扎实的数据结构和算法功底

2、 熟悉tcp,http协议原理;熟悉aja_工作原理;精通python编程,熟悉一种开源爬虫框架和源码;

3、有爬虫、信息抽取、文本分类、大数据处理相关经验优先

4、有自然语言处理、机器学习经验优先

第11篇 手机应用爬虫工程师职位描述与岗位职责任职要求

职位描述:

_ 负责设计和开发分布式网络爬虫系统

_ 应用多种技术对各平台进行数据采集

_ 设计数据采集策略,提升数据采集效率及质量

_ 与各行业分析师沟通,分析项目的可行性和讨论抓取方案。

_ 两年以上爬虫开发相关经验,本科及以上学历,计算机相关专业为佳

_ 熟练掌握c#或java开发语言为佳

_ 了解tcp/ip,http及相关网络协议

_ 熟悉js / html / _path / json / 正则表达式等网页相关技术

_ 熟悉分布式、多线程、缓存、消息队列等互联网技术

_ 熟悉手机应用的数据抓取,手机app开发经验,加/脱壳经验为佳

_ 良好的沟通技能,注重细节,抗压性强

_ 良好的英语沟通技能为佳

第12篇 爬虫工程师职位描述与岗位职责任职要求

职位描述:

职位诱惑:

全球项目、高薪资、高福利、国际团队

职位描述:

if (your_passions.includes('coding')) {

switch(your_stacks) {

case 'node.js':

case 'python':

case 'kubernetes':

case 'serverless':

console.log('join aftership');

break;

}

}

岗位职责

1、负责与不同物流公司的系统对接,使用各种 api 及爬虫技巧,抓取、分析、调度、存储数据,为公司业务提供正确稳定的数据;

2、负责系统的 sla 代码维护、秩代更新,保证任务质量和交付及时性;

3、负责编写相关的技术文档、单元测试,对产品质量负责。

岗位要求

1、统招本科及以上学历,具备英语读写能力;

2、熟悉 git/github,通信协议 tcp/http 及 restful 标准;

3、一年及以上 python 爬虫开发工作经验, javascript 基础扎实,有 scrapy 等使用经验;

4、有 mysql,redis 或 mongodb 等相关数据库使用经验。

加分项

1、有 ci/cd 自动化测试经验;

2、有使用 docker、kubernetes、aws 或 gcp 云计算经验;

3、有写 blog 的习惯,活跃技术社区,参与开源项目等;

4、有代码洁癖,对代码精益求精,对技术有极客热情;

5、有软件著作权申请,有专利发明申请。

为什么加入我们

1、极客氛围: 拥抱开源技术,实践敏捷开发;

2、最新技术: kubernetes, serverless, tensorflow, microservice;

3、特色福利: 每天下午茶,学习成长基金, 提供 macbook pro;

4、多元文化: 团队来自全球十几个国家;

5、龙头企业: 海外知名企业;

6、朝阳行业: b2b 企业级系统, 国际性 saas 平台。

第13篇 java高级工程师(爬虫方向)职位描述与岗位职责任职要求

职位描述:

岗位职责

1.熟悉线程池、并发机制、锁机制、线程安全原理;

2.java体系知识:网络io、设计模式、linu_、jvm、java类加载机制、java内存模型;

3.爬虫经验:webmagic、adsl拨号、正则表达式、脱壳技术、加密、图片破解、二维码识别、滑块验证码破解、httpclient、分词、分布式爬虫调度、数据质量监控、代理ip调度算法、配置化爬虫、授权爬虫、舆情、应用市场、反爬;

4.熟悉http/http、tcp/ip、socket等通讯协议;

5.6年以上软件开发经验,至少2年爬虫开发经验。

任职要求

1. 采集、清洗、监控、配置化、调度、反爬、数据爬取、分词、检索等数据采集研发;

2. 较强的逻辑思维和发散思维;

3. 计算机或相关专业本科及以上学历。

第14篇 高级爬虫工程师职位描述与岗位职责任职要求

职位描述:

岗位职责:

1、参与app爬虫项目的架构设计、研发工作,改进和提升爬虫效率;

2、攻破各种反爬策略;

3、解决各类技术疑难问题,包括网络问题、app分析、反编译等;

4、与大数据工程师对接,完成实时数据与离线数据的爬取与对接;

任职资格:

1、计算机及相关专业本科及以上学历,两年以上相关工作经验;

2、精通至少一种开发语言,如python、java;

3、熟练掌握一种开源爬虫框架,如scrapy、webmagic,有研发爬虫框架经验者优先;

4、熟悉appium、selenium等技术;

5、善于独立分析并解决核心问题,如javascript反爬、爬虫策略、防屏蔽规则、app爬取、验证码识别技术等;

6、熟悉mysql, mongodb, redis, elasticsearch等数据库;

7、对爬虫有浓厚的兴趣,责任感强,有较好的交流沟通能力和团队合作能力;

8、有app安全、逆向等领域经验的优先;

第15篇 python爬虫职位描述与岗位职责任职要求

职位描述:

工作职责:

负责竞品数据的抓取、分析

负责商业产品中的定价策略模块(seo排名)

负责带领相关同事构建爬虫规范,设计和开发分布式的网络爬虫应用,进行互联网相关信息的抓取和分析;

职位要求:

1. 计算机、信息技术或相关专业本科或以上学历;

2. 2年以上爬虫工作经验、3个以上实际项目经验

3. 精通python开发,理解并掌握 scrapy及scrapy-redis;

4. 对采集规则,对反爬、加解密、代理等关键技术有深度理解

5. 熟练使用redis、mq、mongodb、mysql等常用技术

6. 有良好的合作意识和自我驱动力,能主动承担模糊任务,抗压能力

加分项:

1.熟悉主流搜索引擎的搜索算法

2.独立负责项目

3.带过团队

《爬虫岗位要求15篇.doc》
将本文的Word文档下载,方便收藏和打印
推荐度:
点击下载文档

相关专题

相关范文

分类查询入口

一键复制