数据采集系统开发工程师(MJ034626)

工作职责： 开发和维护大规模分布式数据采集系统，覆盖 Web、App、视频图文等多形态数据源； 负责目标站点的技术分析与优化，确保数据采集的合法合规性，并完成相关技术实现； 结合 AI 技术提升采集效率与智能化水平：用 LLM/VLM 完成页面结构化抽取、非结构化正文清洗与多模态内容理解； 探索 Agent 化采集，实现采集脚本自动生成、选择器失效自愈与站点变更自动探测； 熟悉业务场景，结合技术趋势迭代系统架构，并与下游团队协作定义采集口径与数据质量指标。 工作要求： 计算机相关专业本科及以上学历，3 年以上后端及数据采集开发经验； 熟练掌握 Python（异步/协程、性能调优）或 Java 同等水平，熟悉 Linux 环境下的工程化开发； 熟悉 Scrapy / Playwright / Puppeteer 等采集工具链，理解 CDP 协议，能构建稳定的自动化采集流程； 具备 JS 技…… 完整岗位描述与官方投递入口,请登录后在岗位详情页查看。

本站当前在招 2674 个上海技术研发岗位，其中 300 个公开标注了薪资。按这些标注统计：月薪（税前）主流区间 15K ~ 25K（25~75 分位），中位约 20K，最低 4K、最高 100K。