招聘人数:2 名
职位月薪:10000~15000元
学历要求:本科
经验要求:两年以上
工作地点:武汉市江汉区元辰国际A座
发布时间:2021-03-02 18:10
发布单位:前锦网络信息技术(上海)有限公司武汉分公司
1、负责爬虫系统的架构设计,系统搭建;
2、研究分析目标对象,对爬取的数据进行加工处理(清洗、存储、检索等);
3、设计爬取、调度和抽取算法,优化爬虫策略和防屏蔽规则,提升抓取的效率和质量;
4、及时解决爬取过程中出现的问题并不断优化程序;
关键胜任要求:
1、计算机软件相关专业,本科及以上学历,2年及以上工作经验;
2、熟悉Python开发语言、精通SQL、有相关非结构化数据库开发经验;
3、熟悉多线程、网络通信编程,擅长数据结构分析,熟悉高并发、高性能的分布式系统的设计及应用;
4、精通开源爬虫框架(如scrapy、webmagic、nutch、heritrix等),有开发爬虫框架经验优先;熟悉反爬虫、验证码识别技术者优先;
5、具备较强团队合作与敬业精神,富于创新,拥有较强的研究能力、学习能力与执行能力。