我是何思如,南方科技大学电子信息硕士,与中国科学院深圳先进技术研究院联合培养,方向是大模型推理与 AI Infra。
实习经历集中在推理系统与算子这两层:在面壁智能(ModelBest)基础模型中心参与 MiniCPM-o 4.5、VoxCPM2 的多模态推理运行时研发; 在上海光羽芯辰负责自研端侧 NPU 上大模型 Decode 阶段的算子优化,参与 Decode 阶段 Megakernel 整图融合。
- CUDA / Triton 算子开发 —— 访存优化、Tensor Core、确定性计算;Memory-Bound 算子的 cycle 级优化
- 推理引擎搭建与优化 —— 从零搭建到性能调优,覆盖 TP 分片、KV Cache 管理、MoE 执行重构、CUDA Graph、投机解码
- 大模型 Serving 与框架贡献 —— 熟悉 vLLM、Megatron、llama.cpp/ggml 内部机制,向 vLLM-Omni 提交稳定性与性能 PR
- 分布式与训推一致性 —— Batch Invariance 与确定性归约,8×H100 上训推 logprob bitwise 一致
- 性能剖析与工具链 —— Nsight Compute、PyTorch Profiler、Perf、GDB;CI 与自动化工作流
技术栈:C++ / CUDA / Triton / Python / PyTorch / vLLM / Megatron / llama.cpp(ggml) / NCCL / Docker / CMake / Git
论文:SteadyFlow-Edge(第一作者,ACAI)、RT-EdgeDetect(第一作者,APPT)
邮箱:siruhe666@gmail.com
GitHub:frank-2077