爬虫工程师（负责人方向） 30-50k·14薪
北京-海淀区 3-5年 大专
聊一聊
收藏
住房补贴 餐费补贴 加班补贴 交通补
avator
郭女士 5小时前在线 已认证
人事主管 · 河南浮源端科技有限公司
聊一聊
职位介绍
  • 框架设计
  • 框架开发
  • Scrapy
  • 网络开发
  • 系统开发
岗位职责： 1、负责设计和开发分布式网络爬虫系统，进行数据抓取和分析； 2、设计爬虫策略和防屏蔽规则，提升网页抓取的效率和质量； 3、参与分布式爬虫和数据采集系统的架构设计和开发，快速响应业务变动； 4、负责网络数据抓取规划、定期爬取指定网站的数据； 5、参与数据层建设，专注于垂直领域数据爬取，进行多平台信息的抓取和分析； 6、实现数据提取、清洗、结构化、入库、统计分析等需求； 7、研究优化算法，提升爬虫系统的稳定性、可扩展性。 任职要求： 1、熟悉Python和常用的开源库，熟练使用Django/Flask等至少一种主流的web开发框架； 2、熟悉Mysql，mongoDB， Redis，Es，队列等数据库的使用和优化； 3、对进程、线程、协程、异步、非阻塞有一定了解和使用 4、对linux系统基础知识及原理了解较深入的,如linux软中断硬中断,服务器安全等 5、熟悉爬虫主流框架Scrapy、requests、Selenium、gocolly，webmagic等框架（深入了解其中一种）。 6、对相关算法有一定了解; 7、有大型项目管理经验优先。 8、熟悉应用IP代理池、Headers认证和Cookie等； 9、有分布式爬虫、反爬机制经验者优先 10、熟悉js逆向，js破解优先考虑 11、有参与实时监控爬虫的进度和警报反馈系统的优先考虑,如Prometheus+zabbix+granafa等服务器相关爬虫监控检测体系 12、有高可用分布式集群项目设计、开发经验,优先考虑,如K8S,docker,keepalived等 13、有多种语言,如GO、Python、Rust、php可作为加分项 14、有训练过自己的模型可作为加分项 15、github或者码云有相关开源项目可作为加分项

职位透镜

您与该职位的匹配度： 登录查看
lens
登录查看竞争力分析

猎聘温馨提示：

1. 如您发现平台内招聘方存在以下违规行为的，请立即举报
  • a. 扣押您的身份证件或者其他证件；
  • b. 要求您提供担保人、担保金或者以其他名义向您收取财物（ 如培训费、体检费、资料费、置装费、押金等）；
  • c. 强迫您入股或者向您集资；
  • d. 以招聘名义牟取不正当利益；
  • e. 发布虚假招聘广告信息；
  • f. 存在其他损害您的合法权益的行为。
2. 如您应聘的岗位属于涉外劳务合作/海外岗位的，请务必核实招聘方对外劳务合作资质取得情况，同时注意自身资金安全，防范招聘欺诈。
了解更多安全防范知识>
查看全部

猜你喜欢

Python开发工程师（转行大模型的职位）
【 北京-海淀区 】
28-35k·15薪
商汤科技SenseTime
计算机软件 已上市 2000-5000人
莫女士
招聘专员
网络工程师
【 北京-丰台区 】
20-30k·15薪
网络建设 防火墙 网络运维 网络全链条 自动化运维 Shell 路由器 交换机
国药数字科技(北京)有限公司
互联网
曹女士
高级人力资源经理
高级爬虫开发工程师
【 北京-通州区 】
25-40k·16薪
京东
互联网 已上市 10000人以上
杨女士
招聘经理
爬虫工程师
【 北京-海淀区 】
20-40k·15薪
Python
北京原子回声智能科技有限公司
专业技术服务 战略融资 1-49人
程女士
c++研发工程师
中高级java工程师
【 北京-海淀区 】
20-30k·14薪
SpringCloud SpringBoot Dubbo Java Redis 消息队列 Oracle MySQL 后端开发
北京蓝博动力科技有限公司
服装/纺织/皮革 1-49人
卢女士
Python工程师
【 北京 】
15-30k
python django mysql redis mongodb
斑图信息科技(青岛)有限公司
互联网 50-99人
魏先生
副总经理
互联网广告平台开发-全栈工程师
【 北京 】
30-40k
互联网广告平台 后端开发
微软移动联新互联网服务有限公司
互联网 天使轮 100-499人
史女士
全栈爬虫工程师
【 北京 】
50-80k
Python 全栈开发 SQL 通信领域 IT/信息化领域
保定市大黑狗网络科技有限公司
科技推广服务 50-99人
司先生
总经理
产品运营总监
【 深圳-南山区 】
20-35k
产品运营
深圳市锐拓仪器设备有限公司
医疗器械 融资未公开 50-99人
陈先生
经理
亚马逊运营总监
【 杭州-滨江区 】
20-40k
数据分析 平台运营 亚马逊平台 网店运营 海外运营 to C 英语 电动工具
量创数字
电子商务 50-99人
王女士
HR
高级研发工程师（能源互联网方向）
【 北京-海淀区 】
25-40k·14薪
linux C C++
北京清源智慧科技有限公司
电力/热力/燃气/水务 战略融资 1-49人
张女士
人力行政主管
通信设计工程师
【 北京-海淀区 】
4-9k
标星铁塔检测技术河北有限公司北京分公司
学术/科研
李女士
爬虫架构师
【 北京-海淀区 】
25-50k·14薪
Python
海天瑞声
IT服务 已上市 100-499人
矫女士
招聘专员
百度地图自然语言处理研发工程师
【 北京-海淀区 】
30-50k·15薪
python nlp 机器学习 自然语言处理
Baidu
互联网 已上市 10000人以上
王先生
技术经理
数据百晓生（北京/杭州）
【 北京-海淀区 】
薪资面议
幻方量化
基金/证券/期货 融资未公开 100-499人
杨女士
hr
智能算力池运营维护和技术支撑岗
【 北京-西城区 】
40-55k·16薪
网络优化 网络运维
某北京大型通信业公司
通信设备 战略融资 2000-5000人
胡女士
猎头顾问
数据开发工程师（爬虫方向）(037580)
【 北京-海淀区 】
35-55k·13薪
Python Scrapy 人工智能领域 大数据领域
歌尔股份
电子/半导体/集成电路 已上市 10000人以上
杨女士
人力资源伙伴(HRBP)-Teamleader
高级java开发工程师
【 北京 】
20-50k·14薪
Spring Boot Spring Cloud 后端开发 Redis SQL Server IT/信息化领域 通信领域 工业互联网
汉熵通信有限公司
物联网 融资未公开 50-99人
黄先生
人力资源主管
量化开发工程师-北京
【 北京-朝阳区 】
35-50k·15薪
Python 金融领域
微观博易 Micro Trading
基金/证券/期货 不需要融资 50-99人
熊女士
嵌入式软件开发
【 北京-通州区 】
17-18k
嵌入式软件开发 C++ C/C++ C语言
新超硕科技(北京)有限公司
电气机械/器材 融资未公开 500-999人
张女士
HR
1 2 3 4
  • 相关推荐
  • 相关公司
  • 热门城市
  • 热门招聘
北京网络爬虫架构师招聘北京资深爬虫工程师招聘北京高级爬虫工程师招聘北京PYTHON负责人招聘北京爬虫实习生招聘北京高级爬虫招聘北京爬虫架构师招聘北京爬虫开发工招聘北京JAVA爬虫招聘北京爬虫高级经理招聘北京爬虫负责人招聘北京爬虫对抗工程师招聘北京业务爬虫工程师招聘北京爬虫高级工程师招聘北京金融爬虫工程师招聘北京爬虫清洗工程师招聘北京高级爬虫工程师招聘北京爬虫数据工程师招聘北京爬虫工程师中级招聘北京流程自动化工程师招聘北京爬虫工程师实习生招聘北京数据抓取工程师招聘北京AI数据爬虫工程师招聘北京高级爬虫研发工程师招聘北京中高级爬虫开发工程师招聘北京AZURE数据工程师招聘北京爬虫方向招聘北京爬虫专家招聘北京高级爬虫开发招聘北京爬虫技术专家招聘
大数有容(北京)智能科技有限公司北京易云资产管理有限公司北京天韵太阳科技发展有限公司北京华荣信宁科技有限公司北京东方仁杰展览展示有限公司北京中石正旗技术有限公司北京大农文化传媒有限公司鸿鹏恒通(北京)物业管理服务有限公司北京贝铭科技有限公司北京国兴优品质量技术有限公司嘉旅(北京)新能源汽车租赁有限公司北京观筑景观规划设计院有限公司
北京招聘网上海招聘网广州招聘网厦门招聘网杭州招聘网郑州招聘网南京招聘网天津招聘网重庆招聘网成都招聘网苏州招聘网商丘招聘网大连招聘网济南招聘网宁波招聘网无锡招聘网青岛招聘网沈阳招聘网台州招聘网西安招聘网武汉招聘网
北京招聘信息上海招聘信息广州招聘信息厦门招聘信息杭州招聘信息郑州招聘信息南京招聘信息天津招聘信息重庆招聘信息成都招聘信息苏州招聘信息商丘招聘信息大连招聘信息济南招聘信息宁波招聘信息无锡招聘信息青岛招聘信息沈阳招聘信息台州招聘信息西安招聘信息武汉招聘信息
当前位置：
北京招聘网 > 北京爬虫招聘 > 爬虫工程师（负责人方向）招聘