大模型推理加速算法工程师

【岗位职责】 1、核心技术研发：负责大语言模型（LLM）在推理阶段的架构级优化与加速，解决长文本（Long Context）推理及高并发场景下的性能瓶颈。 2、前沿技术落地：探索并实现大模型推理领域的最新前沿加速技术，包括但不限于 KV Cache 压缩/量化、Context 压缩、Special Token 深度定制、Layer Skipping（层跳过）、推测解码（Speculative Decoding）等。 3、推理框架协同：深入底层计算架构，配合或优化主流大模型推理框架（如 vLLM, TensorRT-LLM, DeepSpeed-FastGen, LMDeploy 等），提升系统吞吐量（Throughput）并降低首字延迟（TTFT）。 4、软硬件协同设计：针对不同硬件平台（如 NVIDIA GPU、算力芯片等）进行极致的算力算子调优，优化内存带宽与显存占用。 【任职要求】…… 完整岗位描述与官方投递入口,请登录后在岗位详情页查看。

本站当前在招 2498 个上海技术研发岗位，其中 296 个公开标注了薪资。按这些标注统计：月薪（税前）主流区间 15K ~ 25K（25~75 分位），中位约 20K，最低 4K、最高 100K。