大模型数据工程师

1）数据抓取与采集：负责从 web、社区论坛、App 等多源渠道进行结构化 / 非结构化数据抓取，包括文本、图像、音视频、代码等多模态数据。设计并实现高可用、高性能的分布式爬虫系统，处理大规模数据抓取任务； 2）数据清洗与预处理：针对大模型训练需求，设计并实现数据清洗、去重、规范化、分片、格式转换等处理流程。构建垃圾数据、低质数据、违规内容的识别与过滤规则，提升数据整体质量。对文本进行分句、语言检测、去噪、标点规范、编码修复等基础预处理； 3）数据质量评估与标注支持：与算法 / 训练团队协作，制定适用于预训练、指令微调（SFT）、对话数据等不同场景的数据质量标准与评估指标； 【任职要求】 1）计算机、软件工程、数据科学等相关专业本科及以上学历； 2）1年及以上数据抓取、爬虫开发、数据清洗处理相关工作经验，有大规模数据项目经验者优先； 3）理解常见网站的技术栈与反爬机制（UA / Cook…… 完整岗位描述与官方投递入口,请登录后在岗位详情页查看。

本站当前在招 2674 个上海技术研发岗位，其中 300 个公开标注了薪资。按这些标注统计：月薪（税前）主流区间 15K ~ 25K（25~75 分位），中位约 20K，最低 4K、最高 100K。