职位职责

1、根据业务需求，负责定制化开发和维护爬虫，包括调度、抓取、入库、反爬、监控等；

2、负责对抓取数据进行结构化、去重、分类、垃圾过滤、质量分析；

3、负责分布式网络爬虫架构设计选型、部署实施、功能开发及优化；

4、负责爬虫核心算法和策略优化；

5、负责指导和协调其他工程师爬虫工作

职位要求

1、软件工程、计算机相关专科及以上学历；3年以上工作经验；

2、熟悉Linux系统，精通Java 或Python其中一门语言；

3、熟悉搜索引擎和网络爬虫相关技术，能独立实施完成网络爬虫应用；

4、有丰富的应对反爬虫的经验，例如合理使用IP 池、验证码识别技术等；

5、具有良好的执行力、沟通技能，团队合作能力，追求极致的心态。勤奋好学，扛得住压力。

6、有海量数据爬取经验者优先；有金融资讯相关平台爬取经验者优先；具有自然语言处理、机器学习背景优先；

有意向者简历请直接投递：hr@ect888.com