岗位职责：
1、负责爬虫系统的设计、开发及网页抓取的效率和质量优化；
2、负责对目标网站进行数据爬取分析，找到最优化的爬取策略；
3、负责爬虫核心算法的策略优化研究，提升爬虫抓取效率和质量（如调权调度、分析预测、质量判断、封禁与反封禁研究等）；
4、通过机器学习、深度学习等技术，建立数据挖掘模型，解决实际业务问题；
5、负责大规模数据爬虫的性能优化、监控和报警，提高爬虫产品的稳定性和抓取效率；
负责技术难点的攻克。
1、计算机或相关专业本科以上学历，3年以上爬虫工作经验；
2、熟练掌握Python开发；
3、熟练掌握正则表达式、XPath、CSS等网页信息抽取技术；
4、熟练掌握Python主流爬虫架构，精通Django架构；
5、熟悉常见反爬机制，验证码识别，IP代理池、应用Ip池、headers认证和cookie等；
6、熟练掌握应用Selenium+PhantomJS实施动态HTML抓取；
7、熟悉熟练使用http代理工具charles、fiddler等；
8、熟练掌握Linux平台开发，能独立安装、配置、搭建开发环境，编写shell脚本；
9、精通Postpresql，Oracle，mysql等关系数据库；
10、熟悉mongodb/hadoop、redis、rabbitMQ、kafka、zookeeper等具有项目经验；
11、熟悉自然语言处理、有一定算法功底，有python舆情产品、爬虫项目经验者优先；
能承受一定的工作压力，有责任心、上进心，具备良好的自学能力和独立解决问题能力。