爬虫专家(J19219)

岗位职责 1. 负责公司级分布式爬虫采集平台的架构设计、开发与交付，推动爬虫系统的平台化、服务化和智能化，提升采集效率与稳定性，充分支持模型训练、AI搜索等数据需求。 2. 主导解决大规模数据采集中的技术难题，包括高并发、分布式调度、JS逆向、智能化解析及复杂验证码突破等。 3. 建立数据清洗、去重、校验机制，确保采集数据的准确性、完整性和一致性；负责爬虫系统的监控告警与性能优化。 【任职要求】 任职要求 1. 本科及以上学历，计算机软件等相关专业，5年以上爬虫开发经验。 2. 具备搜索引擎爬虫开发与爬虫平台化建设经验，深入理解搜索引擎爬取原理、调度算法及去重策略，掌握分布式爬虫架构。 3. 熟练掌握 Kafka, Redis, MongoDB, HBase, Elasticsearch, ClickHouse 等中间件和数据库的使用与调优。 4. 精通各类反爬虫策略及应对方案，具备优秀…… 完整岗位描述与官方投递入口,请登录后在岗位详情页查看。

本站当前在招 22528 个上海岗位（全城各职能合计），其中 2290 个公开标注了薪资。按这些标注统计：月薪（税前）主流区间 8.4K ~ 20K（25~75 分位），中位约 12K，最低 0.8K、最高 120K。