多模态推理与智能体
这部分工作研究视觉语言模型如何推理、搜索和行动。包括反思感知的多模态推理强化学习（SRPO）、推理型视觉语言模型中长思维链 SFT 与 RL 的相互作用、物理推理评测（PhyX）、可溯源的多模态浏览智能体（MMSearch-Plus）、视频-语言组合理解（NAVERO），以及面向机器人行为的多模态代码生成（RoboCodeX）。
核心结果
| 论文 | 问题 | 结论 |
|---|---|---|
| Synergy Dilemma（TMLR 2025） | 长思维链 SFT 与 RL 能叠加吗？ | 不能：五种组合策略都只是在准确率、风格和长度之间权衡 |
| SRPO（NeurIPS 2025） | 多模态大模型能学会自我反思吗？ | 两阶段反思感知 GRPO 提升 Qwen2.5-VL-7B/32B 在 MathVista、MathVision、MathVerse、MMMU-Pro 上的表现 |
| PhyX（TMLR 2026） | 模型能对图像做物理推理吗？ | 3000 题；最强模型 32.5%–45.8%，比人类专家低 29 个点以上 |
| MMSearch-Plus（ICLR 2026） | 浏览智能体会用视觉证据吗？ | 311 题；最强系统 36.0%；set-of-mark 最多提升 3.9 个点 |
| RoboCodeX（ICML 2024） | 代码生成能驱动机器人行为吗？ | 在仿真和真实机器人的四类操作任务和一类导航任务上取得领先 |
RL 和长思维链 SFT，哪个让视觉语言模型推理更好？
两者擅长的地方不同，组合起来也不会简单叠加。长思维链 SFT 通过结构化推理提升难题，但让回答冗长并损害简单题；RL 在所有难度上都有提升且回答简短，只是在最难的题上提升较小。两阶段、交替、渐进式训练以及数据混合、模型合并，最终都是权衡而非叠加，论文称之为协同困境。
多模态大模型如何学会自我反思？
SRPO 先构建以反思为中心的数据集：由更强的多模态模型评析初始回答，让策略模型同时学习推理和反思；再在 GRPO 中加入奖励，鼓励简洁、有意义的反思，避免冗余的自言自语。
多模态模型能做物理推理吗？
还远未达到人类水平。PhyX 覆盖热学、电磁学、力学、近代物理、光学、波动与声学。错误分析显示，模型过度依赖记忆的公式和表层视觉模式匹配，而非真正的物理理解。
多模态搜索智能体为什么会失败？
主要是找不到相关网页、分不清视觉上相似的事件。MMSearch-Plus 构造的问题依赖图像中的空间和时间线索，并为智能体提供 set-of-mark 工具，用于标记、裁剪、放大并发起定向图文检索。
从多模态推理到具身智能体
RoboCodeX 把指令分解为带有可供性和安全约束的、以物体为中心的操作单元，并用代码表达，使同一个模型能跨机器人平台泛化。PhyX 衡量这类智能体所需的物理推理能力；视觉自回归模型综述（TMLR 2025，约 250 篇参考文献，GitHub 800+ star）也涵盖了具身智能等应用。
相关论文
-
MMSearch-Plus: Benchmarking Provenance-Aware Search for Multimodal Browsing Agents
Xijia Tao, Yihua Teng, Xinxing Su, Xinyu Fu, Jihao Wu, Chaofan Tao, Ziru Liu, Haoli Bai, Rui Liu, Lingpeng Kong
MMSearch-Plus是一个包含311个任务的benchmark和多模态智能体搜索问答框架，配备set-of-mark工具，要求在检索噪声下进行可追溯、引入视觉搜索和交叉验证。
-
PhyX: Does Your Model Have the "Wits" for Physical Reasoning?
Hui Shen, Taiqiang Wu, Qi Han, Yunta Hsieh, Jizhou Wang, Yuyue Zhang, Yuxin Cheng, Zijian Hao, Yuansheng Ni, Xin Wang, Zhongwei Wan, Kai Zhang, Wendong Xu, Jing Xiong, Ping Luo, Wenhu Chen, Chaofan Tao, Zhuoqing Mao, Ngai Wong
PhyX引入一个包含3000个问题的多模态基准，覆盖六个物理领域，用于测试基于物理的推理，观察到顶级模型与人类专家之间的较大差距。
-
RoboCodeX: Multimodal Code Generation for Robotic Behavior Synthesis
Yao Mu, Junting Chen, Qinglong Zhang, Shoufa Chen, Qiaojun Yu, Chongjian Ge, Runjian Chen, Zhixuan Liang, Mengkang Hu, Chaofan Tao, Peize Sun, Haibao Yu, Chao Yang, Wenqi Shao, Wenhai Wang, Jifeng Dai, Yu Qiao, Mingyu Ding, Ping Luo
RoboCodeX提出树状结构的多模态代码生成框架，将高层指令分解为带有可供性与安全约束的以物体为中心的操作单元，借助代码生成实现跨机器人平台泛化，在仿真与真实机器人的操作和导航任务上取得领先结果。
-
Autoregressive Models in Vision: A Survey
Jing Xiong, Gongye Liu, Lun Huang, Chengyue Wu, Taiqiang Wu, Yao Mu, Yuan Yao, Hui Shen, Zhongwei Wan, Jinfa Huang, Chaofan Tao, Shen Yan, Huaxiu Yao, Lingpeng Kong, Hongxia Yang, Mi Zhang, Guillermo Sapiro, Jiebo Luo, Ping Luo, Ngai Wong
全面综述视觉自回归模型的建模方法，涵盖表示策略及其在图像、视频、3D和多模态生成中的应用，并讨论开放挑战。
-
SRPO: Enhancing Multimodal LLM Reasoning via Reflection-Aware Reinforcement Learning
Zhongwei Wan, Zhihao Dou, Che Liu, Yu Zhang, Dongfei Cui, Qinjian Zhao, Hui Shen, Jing Xiong, Yi Xin, Yifan Jiang, Chaofan Tao, Yangfan He, Mi Zhang, Shen Yan
SRPO是一个反思感知的多模态RL框架，先训练多模态大模型学会自我反思，再用GRPO式奖励优化简洁有效的反思，从而提升多模态推理能力。
-
The Synergy Dilemma of Long-CoT SFT and RL: Investigating Post-training Techniques for Reasoning VLMs
Jierun Chen, Tiezheng Yu, Haoli Bai, Lewei Yao, Jiannan Wu, Kaican Li, Fei Mi, Chaofan Tao, Lei Zhu, Manyi Zhang, Xiaohui Li, Lu Hou, Lifeng Shang, Qun Liu
比较长链思维监督微调（SFT）与强化学习（RL）在视觉语言模型推理中的作用，发现两者组合往往无法带来叠加收益，而是在准确率、冗长程度和风格之间权衡。
-
NAVERO: Unlocking Fine-Grained Semantics for Video-Language Compositionality
Chaofan Tao, Gukyeong Kwon, Varad Gunjal, Hao Yang, Zhaowei Cai, Yonatan Dukler, Ashwin Swaminathan, R Manmatha, Colin Jon Taylor, Stefano Soatto
NAVERO提出AARO基准，并通过负文本增强和负增强匹配损失，提升视频-语言模型对组合语义的理解和检索能力。
-
CrossGET: Cross-Guided Ensemble of Tokens for Accelerating Vision-Language Transformers
Dachuan Shi, Chaofan Tao, Anyi Rao, Zhendong Yang, Chun Yuan, Jiaqi Wang
CrossGET通过跨模态匹配和集成token，使用相似token匹配和合并加速视觉-语言Transformer，在最小准确率损失下减少计算量。
-
UPop: Unified and Progressive Pruning for Compressing Vision-Language Transformers
Dachuan Shi, Chaofan Tao, Ying Jin, Zhendong Yang, Chun Yuan, Jiaqi Wang
UPop是一个统一的渐进式剪枝框架，在连续空间中搜索多模态子网络并逐步重训练，实现视觉-语言Transformer的高压缩率。
常见问题
长思维链 SFT 和 RL 结合能提升推理型视觉语言模型吗？
不能简单叠加。Synergy Dilemma 研究（TMLR 2025）发现，长思维链 SFT 提升难题表现，但让回答冗长并损害简单题；RL 在各难度上都有提升且回答更简洁。两阶段、交替、渐进式训练以及数据混合、模型合并，都只是在准确率、推理风格和长度之间权衡，而不是叠加收益。
PhyX 是什么？
PhyX 是包含 3000 道多模态题目的物理推理基准，覆盖 6 个物理领域和 25 个子领域。GPT-4o、Claude 3.7 Sonnet、o4-mini 的准确率分别为 32.5%、42.2%、45.8%，比人类专家低 29 个点以上。
MMSearch-Plus 是什么？
MMSearch-Plus 是面向多模态浏览智能体的 311 题基准，要求从图像中提取细粒度视觉线索，并通过图文检索交叉验证。最强系统端到端准确率为 36.0%，set-of-mark 模块最多带来 3.9 个点提升。
陶超凡做具身智能吗？
他的主要方向是代码智能体和高效大模型。与具身相关的工作包括 RoboCodeX（ICML 2024），一个在仿真和真实机器人上验证的、面向机器人行为合成的多模态代码生成框架；以及多模态物理推理基准 PhyX。
相关页面：代码智能体与智能体强化学习 · 高效大模型训练与推理 · llms.txt