大模型推理平台研发工程师

岗位职责： 1. 负责大模型推理平台的开发、维护与性能优化，保障服务高可用性和高性能运行 2. 对大模型 KVCache 集群进行开发、维护与性能调优，解决大规模并发推理内存瓶颈 3. 管理推理服务的计算资源、流量及任务调度，优化集群资源利用率，降低推理成本 4. 建立推理服务监控告警体系，及时发现和解决性能异常和系统故障 5. 参与推理服务架构设计，支持多模态模型和不同规模模型的推理需求 【任职要求】 岗位要求： 1. 计算机相关专业，本科及以上学历，3-5 年分布式系统或AI推理相关工作经验 2. 具备丰富的推理服务性能优化经验：KVCache 管理、调度策略优化、PD 分离、模型量化、模型并行等 3. 熟练使用 Kubernetes 进行容器化部署，了解 Volcano等GPU资源调度系统 4. 掌握 Go/Python 等编程语言，具备良好的代码规范和系统设计能力 5. 具备推理…… 完整岗位描述与官方投递入口,请登录后在岗位详情页查看。

本站当前在招 2674 个上海技术研发岗位，其中 300 个公开标注了薪资。按这些标注统计：月薪（税前）主流区间 15K ~ 25K（25~75 分位），中位约 20K，最低 4K、最高 100K。