Dots-采集工程

1、分布式采集系统架构：设计并搭建支撑千亿级网页规模的分布式爬虫系统，覆盖任务调度、抓取执行、资源管理全链路，保障系统的高可用与横向扩展能力。 2、抓取调度与优先级策略：构建智能化 URL 调度系统，结合时效性、重要性、更新频率等维度动态调整抓取优先级，提升关键页面的抓取时效与覆盖率。 3、动态渲染与页面获取：研发/维护无头浏览器（Headless Browser）渲染集群，解决 JS 动态加载、异步渲染页面的抓取问题，优化渲染资源消耗与并发吞吐。 4、存储与去重基建：设计高性能网页存储、URL 去重（Bloom Filter/布隆过滤器、指纹库）、增量更新机制，支撑索引库的低冗余高质量存储。 5、性能与稳定性优化：持续优化采集系统的吞吐量（QPS）、资源利用率与容错能力，建立完善的监控告警体系，保障系统 SLA。 6、与算法团队协同：对接网页解析、页面质量评估、知识抽取等算法模块，打通"…… 完整岗位描述与官方投递入口,请登录后在岗位详情页查看。

本站当前在招 18762 个北京岗位（全城各职能合计），其中 2681 个公开标注了薪资。按这些标注统计：月薪（税前）主流区间 7K ~ 20K（25~75 分位），中位约 10K，最低 2K、最高 300K。