智能体当今能 hold 住越来越多复杂任务了云开体育,但问题仍然不少。
比如,多智能体协同作念视觉任务,时常轮次越多错得越离谱——根源不在模子智商不够,而在于智能体之间传递视觉信息的神气自己就有颓势。
来改过加坡国立大学 LV-Lab 过甚他国表里科研机构的琢磨东说念主员暖热到:
基于视觉话语模子(VLM)的多智能体系统(MAS)正成为复杂多模态结合的中枢有商量,却被一个致命痛点死死卡住:多智能体视觉幻觉滚雪球——单个智能体的视觉误判通过纯文本信息流逐级放大,早期渺小造作最终演酿成系统性崩溃。
此前线案险些只聚焦「单智能体幻觉羁系」,根柢无法阻断跨智能体的造作传播。长轮次结合中,模子性能被幻觉"滚雪球"越拖越垮。

针对这一可贵,他们提倡了 ViF(Visual Flow),一种轻量通用的视觉流范式。用「视觉流 + 介意力重分拨」重构智能体间视觉传递逻辑,无需校正基座模子即可大幅压制幻觉滚雪球。
该职责已入选 ICLR 2026,在 8 大基准、4 种 MAS 结构、10 款主流 VLM 上终了踏实晋升。
纯文本流信息传递:导致视觉幻觉滚雪球效应
面前 VLM 多智能体结合,全程依赖文本流传递视觉信息,这一联想存在两大无法例避的颓势:
内在幻觉:单智能体自身生成与图像不符的造作视觉描摹;
幻觉传播:后续智能体过度依赖前置文本,将早期造作手脚先验,视觉 - 文本调治的损耗与偏差被逐级放大。

此前优化有商量险些王人只聚焦「单智能体幻觉羁系」,无法阻断跨智能体的造作传播;在长轮次结合中,模子性能可能会被视觉幻觉的"滚雪球"遭殃,可能导致无法胜任复杂视觉任务。
三种纬度的介意力分析:锁定要道局面成因
琢磨团队从轮次、层级、令牌三个维度作念深度介意力拆解,初次系统性的探究了幻觉滚雪球的实质:
1. 随智能体轮次增多,视觉令牌平均介意力分拨在第 20 轮暴跌 62%,中层视觉介意力峰值平直肃清;

2. 中层单峰介意力视觉令牌是保存原生视觉左证的中枢载体,对视觉领路起决定性作用;

3. 这类要道令牌占比从首轮 1.22% 骤降至第 20 轮 0.10%,视觉信息透顶被文本信息压制。

这些中枢发现,为精确成立视觉信息流提供了最要道的依据。
视觉流替代文本流:即插即用,轻量且兼容
ViF 透顶破除「纯文本传视觉」的逻辑,打造即插即用、模子无关的轻量「视觉平直传递」范式,两大中枢联想直击痛点:

视觉中继流(Visual Relay Tokens)精确筛选中层单峰视觉令牌作为视觉中继载体,结合辅导作念轻量化高下文编码,平直传递原生视觉左证,从根源幸免「视觉→文本」调治带来的信息损耗与偏差。
分层介意力重分拨中:中间层放概况道视觉令牌介意力、回收无效介意力;深层优化介意力区别,让视觉信号抓续聚会长轮次结合。
此外,FlashAttention 兼容有商量针对当代模子常用的 FlashAttention 2/3(无法赢得介意力分数),联想 Key-Norm 替代战略,兼顾成果与落地兼容性。该团队提倡的交替支拨较小,且可无缝适配不同 VLM 与 MAS 结构。
全维度晋升:幻觉滚雪球降近 40%
ViF 历程了全面的现实考据:
全散失踏实晋升:8 大概括 / 幻觉基准、4 种 MAS 结构(线性 / 分层 / 赶快 / 环形)、10 款基座模子(LLaVA、LLaVA-OV、Qwen2-VL、Qwen2。5-VL 等),平均晋升 2.4%~3.8%;
视觉幻觉滚雪球羁系:提倡了幻觉滚雪球分数 HS,并平均下落超 30%,交互最密集的环形结构降幅近 40%;
大模子增益更多:34B/32B 大参数模子晋升超 4%,透顶解锁大模子多智能体后劲;
多场景通吃:多图、视频等增强视觉场景,平均晋升 2.0%~4.9%;
高效:仅增多 8.1%~13.4% 推理蔓延、4.8%~11.9% 狡计支拨,大模子下支拨险些可忽略。


对比 5 款 SOTA 单智能体幻觉有商量,ViF 在多智能体场景下终了断层式卓绝:传统有商量只从单智能体起程,ViF 从底层割断视觉幻觉传播,显耀羁系多智能体幻觉滚雪球。
瞻望:解锁有用长轮次视觉多智能体结合
ViF 是业内首个从信息流重构层面措置多智能体视觉幻觉滚雪球的有商量,平直阻碍长轮次结合「越作念越错」的魔咒,它用较小的代价,成就了智能体间的视觉流信息传递,让多智能体结合信得过果真、可用。
论文:https://arxiv.org/pdf/2509.21789
代码:https://github.com/YU-deep/ViF
一键三连「点赞」「转发」「留神心」
迎接在辩驳区留住你的念念法!
— 完 —
咱们正在招聘别称眼疾手快、暖热 AI 的学术裁剪实习生 � �
感意思的小伙伴迎接暖热 � � 了解笃定

� � 点亮星标 � �
科技前沿发达逐日见云开体育