大模型推理系统工程师

岗位职责 1）推理调度系统：设计 batching / admission control / 请求调度策略，提升吞吐与稳定性； 2）KV Cache 系统：设计 cache 生命周期管理、复用策略与显存优化机制； 3）Decoding 优化：实现 speculative decoding / prefix reuse / 并行解码策略； 4）推理执行引擎：参与执行图、算子调度、runtime 优化； 5）GPU 利用率优化：分析 kernel、IO、调度瓶颈，提升整体利用率； 6）分布式推理：构建高并发在线服务，支持大规模请求负载； 7）训练协同：支持 RL rollout / evaluation 场景中的推理加速。 【任职要求】 任职要求 1）扎实的编程能力（Python / C++ / Rust 至少一种）； 2）良好的数据结构与算法基础； 3）理解操作系统、并发编程、网络基础；…… 完整岗位描述与官方投递入口,请登录后在岗位详情页查看。

本站当前在招 2674 个上海技术研发岗位，其中 300 个公开标注了薪资。按这些标注统计：月薪（税前）主流区间 15K ~ 25K（25~75 分位），中位约 20K，最低 4K、最高 100K。