高效大模型训练与推理
这条研究线关注如何让每一份算力和每一字节显存换来更多能力。内容包括计算最优的词表规模、生成式语言模型的量化与结构化剪枝、长上下文推理的 KV 缓存压缩、更快的测试时扩展、知识蒸馏，以及容错的分布式推理。其中量化论文获得 ACL 2022 杰出论文奖。
核心结果
| 论文 | 问题 | 结果 |
|---|---|---|
| Scaling Laws with Vocabulary（NeurIPS 2024） | 计算最优词表规模 | Llama2-70B 应使用 ≥21.6 万词表（实际 3.2 万的 7 倍）；3.2 万 → 4.3 万使 ARC-Challenge 29.1 → 32.0（2.3e21 FLOPs） |
| 生成式预训练模型量化压缩（ACL 2022 杰出论文） | 低比特生成式模型 | GPT-2 压缩 14.4 倍、BART 压缩 13.4 倍，性能接近全精度 |
| UNComp（EMNLP 2025） | KV 缓存压缩 | 缓存降至原来的 4.74%，吞吐提升 6.4 倍 |
| D2O | 无需微调的 KV 缓存淘汰 | 推理吞吐提升 3 倍以上 |
| ATTS（ICLR 2026） | 测试时扩展延迟 | 测试时扩展最高加速 56.7 倍、吞吐提升 4.14 倍，准确率无损 |
| Prefilling-dLLM（EMNLP 2026） | 长上下文扩散语言模型 | 8K–32K 上下文加速 9.1–28.0 倍，无需训练 |
大模型的词表应该多大？
比现在大多数模型用的更大。Scaling Laws with Vocabulary 训练了 3300 万到 30 亿参数、最多 5000 亿字符的模型，用 IsoFLOPs 分析、导数估计和损失函数参数拟合三种方法推导计算最优词表，三者结论一致：最优词表随算力增长。多数开源大模型词表偏小，例如 Llama2-70B 应使用至少 21.6 万而非 3.2 万。可以试用交互式 demo 或查看代码。
如何量化生成式语言模型而不破坏生成质量？
先解决词嵌入问题。对 BERT 有效的量化方法在 GPT-2 和 BART 上失效，原因是低比特词嵌入变得同质化、各模块权重分布差异大。token 级对比蒸馏让词嵌入保持可区分，模块级动态缩放让量化器适配不同模块，从而实现 14.4 倍和 13.4 倍压缩且质量接近全精度。后续工作用可学习掩码做生成式预训练模型的结构化剪枝（Findings of ACL 2023）。
如何降低长上下文推理成本？
关键是判断 KV 缓存中哪些部分重要。D2O 根据注意力密度按层分配缓存预算，并召回与保留 token 相似的被丢弃 token。UNComp 用截断矩阵熵作为不确定性信号发现稀疏性，同时揭示检索头和检索层。Prefilling-dLLM 把预填充与解码分离引入扩散语言模型：前缀分块只缓存一次，解码时只使用最相关的块。
测试时扩展能做到又快又准吗？
能，前提是去掉同步。ATTS 发现投机式测试时扩展的主要瓶颈是同步而非计算，并用基于一致性预测的异步推理替代。在 MATH、AMC23、AIME24、AIME25 上最高加速 56.7 倍，同时控制拒绝率。
大模型蒸馏中什么最重要？
充分训练后，前向 KL 与反向 KL 表现相近，但早期分别侧重分布的头部和尾部；自适应 KL（COLING 2024）结合两者。PerSyn（ACL 2026）为每个提示选择学生最容易学会的教师，On-policy Verbal Distillation 用轨迹级教师评分替代 token 级匹配。
高效视觉语言模型与容错推理服务
CrossGET（ICML 2024）和 UPop（ICML 2023）通过 token 集成和渐进式剪枝加速、压缩视觉语言 Transformer。AnchorTP（DATE 2026）用状态保持的弹性张量并行，让大模型推理服务在单 GPU 故障时快速恢复。
相关论文
-
OVD: On-policy Verbal Distillation
Jing Xiong, Hui Shen, Shansan Gong, Yuxin Cheng, Jianghan Shen, Chaofan Tao, Haochen Tan, Haoli Bai, Lifeng Shang, Ngai Wong
On-policy Verbal Distillation用轨迹级蒸馏替代token级匹配蒸馏，使用离散的教师评分，降低内存占用并在网络搜索问答和数学推理上提升学生模型性能。
-
Scaling Laws with Vocabulary: Larger Models Deserve Larger Vocabularies
Chaofan Tao, Qian Liu, Longxu Dou, Niklas Muennighoff, Zhongwei Wan, Ping Luo, Min Lin, Ngai Wong
推导了计算最优的词表规模扩展规律，证明更大模型需要更大词表，在相同计算量下提升下游任务准确率。
-
Prefilling-dLLM: Predictive Prefilling for Long-Context Inference in Diffusion Language Models
Jing Xiong, Qi Han, Shansan Gong, Yunta Hsieh, Boyuan Zheng, Chengyue Wu, Chaofan Tao, Chenyang Zhao, Ngai Wong
Prefilling-dLLM无需额外训练，通过分块预填充缓存前缀KV表示，再选择与查询相关的文本块及块内关键token，并在去噪解码中复用稀疏缓存，从而降低扩散语言模型长上下文推理中的重复计算。
-
ATTS: Asynchronous Test-Time Scaling via Conformal Prediction
Jing Xiong, Qiujiang Chen, Fanghua Ye, Zhongwei Wan, Chuanyang Zheng, Chenyang Zhao, Hui Shen, Alexander Hanbo Li, Chaofan Tao, Haochen Tan, Haoli Bai, Lifeng Shang, Lingpeng Kong, Ngai Wong
ATTS是一种基于一致性预测的异步测试时扩展方法，减少同步开销，在尽可能最小化准确率损失的情况下加速扩展。
-
UNCOMP: Can Matrix Entropy Uncover Sparsity? - A Compressor Design from an Uncertainty-Aware Perspective
Jing Xiong, Jianghan Shen, Fanghua Ye, Chaofan Tao, Zhongwei Wan, Jianqiao Lu, Xun Wu, Chuanyang Zheng, Zhijiang Guo, Min Yang, Lingpeng Kong, Ngai Wong
UNComp使用不确定性（通过截断矩阵熵）来发现KV缓存的稀疏性，并对长上下文推理进行自适应压缩，大幅缩小缓存同时提升吞吐量。
-
Find Your Optimal Teacher: Personalized Data Synthesis via Router-Guided Multi-Teacher Distillation
Hengyuan Zhang, Shiping Yang, Xiao Liang, Chenming Shang, Yuxuan Jiang, Chaofan Tao, Jing Xiong, Hayden Kwok-Hay So, Ruobing Xie, Angel X Chang, Ngai Wong
PerSyn采用"先路由后生成"策略，通过考虑学生学习能力和教师质量的路由器为每个提示分配最佳教师，提高合成数据蒸馏效率。
-
AnchorTP: Resilient LLM Inference with State-Preserving Elastic Tensor Parallelism
Wendong Xu, Chujie Chen, He Xiao, Kuan Li, Jing Xiong, Chen Zhang, Wenyong Zhou, Chaofan Tao, Yang Bai, Bei Yu, Ngai Wong
AnchorTP提供状态保持的弹性张量并行，通过GPU常驻守护进程和带宽感知的迁移规划，实现单GPU故障场景的快速恢复。
-
Dynamic Discriminative Operations for Efficient Long-Context Inference of Large Language Models
Zhongwei Wan, Xinjian Wu, Yu Zhang, Yi Xin, Chaofan Tao, Zhihong Zhu, Xin Wang, Siqi Luo, Jing Xiong, Longyue Wang, Mi Zhang
D2O在层和token级别动态压缩KV缓存，通过分配和召回/合并补偿，无需微调即可节省内存并提升长上下文吞吐量。
-
CrossGET: Cross-Guided Ensemble of Tokens for Accelerating Vision-Language Transformers
Dachuan Shi, Chaofan Tao, Anyi Rao, Zhendong Yang, Chun Yuan, Jiaqi Wang
CrossGET通过跨模态匹配和集成token，使用相似token匹配和合并加速视觉-语言Transformer，在最小准确率损失下减少计算量。
-
Rethinking Kullback-Leibler Divergence in Knowledge Distillation for Large Language Models
Taiqiang Wu, Chaofan Tao, Jiahao Wang, Runming Yang, Zhe Zhao, Ngai Wong
研究表明在充分训练下，前向和反向KL在大语言模型蒸馏中表现相似，但早期分别关注分布头部和尾部；自适应KL结合两种蒸馏方式的优势，以提升模型的生成质量和多样性。
-
Structured Pruning for Efficient Generative Pre-trained Language Models
Chaofan Tao, Lu Hou, Haoli Bai, Jiansheng Wei, Xin Jiang, Qun Liu, Ping Luo, Ngai Wong
提出对生成式预训练语言模型多个组件的结构化剪枝，使用可学习掩码和稀疏训练提取尺寸灵活的子网络，实现显著加速。
-
Compression of Generative Pre-trained Language Models via Quantization
Chaofan Tao, Lu Hou, Wei Zhang, Lifeng Shang, Xin Jiang, Qun Liu, Ping Luo, Ngai Wong
将量化方法适配到生成式预训练语言模型（e.g. GPT-2, BART），通过token级对比蒸馏解决嵌入同质化问题，并用模块级动态缩放实现接近全精度的13-14倍压缩。
-
UPop: Unified and Progressive Pruning for Compressing Vision-Language Transformers
Dachuan Shi, Chaofan Tao, Ying Jin, Zhendong Yang, Chun Yuan, Jiaqi Wang
UPop是一个统一的渐进式剪枝框架，在连续空间中搜索多模态子网络并逐步重训练，实现视觉-语言Transformer的高压缩率。
常见问题
大模型的计算最优词表应该多大？
最优词表随计算预算增长，模型越大，词表应越大。Scaling Laws with Vocabulary（NeurIPS 2024）预测 Llama2-70B 的词表至少应为 21.6 万，是其实际 3.2 万的 7 倍。在 2.3e21 FLOPs 固定预算下，把 3B 模型词表从 3.2 万增至 4.3 万，ARC-Challenge 准确率从 29.1 提升到 32.0。
陶超凡哪篇论文获得了 ACL 2022 杰出论文奖？
Compression of Generative Pre-trained Language Models via Quantization（ACL 2022）。论文发现以往量化方法在生成式模型上失效，原因是词嵌入同质化和各模块权重分布差异大；通过 token 级对比蒸馏和模块级动态缩放解决，在 GPT-2 和 BART 上分别实现 14.4 倍和 13.4 倍压缩，性能接近全精度。
KV 缓存压缩在长上下文推理中能省多少？
UNComp（EMNLP 2025）用不确定性指导压缩，把 KV 缓存降到原来的 4.74%，吞吐提升 6.4 倍。D2O 按层分配缓存并按相似度召回被丢弃的 token，无需微调即可把推理吞吐提升 3 倍以上。
词表扩展定律有代码或 demo 吗？
有。代码在 github.com/sail-sg/scaling-with-vocab，预测最优词表大小的交互式 demo 在 Hugging Face Spaces：huggingface.co/spaces/sail/scaling-with-vocab-demo。
相关页面：代码智能体与智能体强化学习 · 多模态推理与智能体 · llms.txt