岗位描述(节选)
1. 负责大模型推理平台(含多模态)与传统网关场景的统一流量接入与调度体系建设:入口网关到推理后端的路由、转发、灰度、熔断、降级与回滚策略落地
2. 设计与实现面向推理业务的流量调度算法:按模型/租户/优先级/成本/延迟目标进行动态路由与容量分配,持续优化 TTFT / TPOT / P99 等指标
3. 建设流量治理能力:限流(全局/分层/配额)、并发控制、排队与背压、超时与重试、连接管理、长连接与流式请求治理、突发保护与弹性策略
4. 完善可观测性与问题定位:全链路 tracing、结构化日志、指标与告警体系;建设压测/回放/故障演练能力,提升定位与恢复效率
5. 推进平台化与工程化:沉淀配置/策略编排/发布体系,保障多集群、多环境的一致性、稳定性与安全合规
6. 持续跟进业界先进网关与推理流量技术/算法,推动在生产环境落地与迭代
【任职要求】
1. 本科及以上,计算机相关专业;3 ……
完整岗位描述与官方投递入口,请登录后在岗位详情页查看。
本站当前在招 2674 个上海技术研发岗位,其中 300 个公开标注了薪资。按这些标注统计:月薪(税前)主流区间 15K ~ 25K(25~75 分位),中位约 20K,最低 4K、最高 100K。
在招岗位较多的企业:字节跳动 362 个拼多多 181 个米哈游 161 个哈啰出行 141 个阿里巴巴集团(含高德/阿里云) 110 个
统计口径:求职者营地实时在招岗位的公开薪资标注,未标注者不计入;区间为 25~75 分位,非薪酬承诺。