你的位置:开云官网登录入口 开云KaiyunApp官网入口 > 新闻动态 > 云开体育多智能体协同作念视觉任务-开云官网登录入口 开云KaiyunApp官网入口

云开体育多智能体协同作念视觉任务-开云官网登录入口 开云KaiyunApp官网入口

时间:2026-11-09 07:52 点击:107 次

智能体当今能 hold 住越来越多复杂任务了云开体育,但问题仍然不少。

比如,多智能体协同作念视觉任务,时常轮次越多错得越离谱——根源不在模子智商不够,而在于智能体之间传递视觉信息的神气自己就有颓势。

来改过加坡国立大学 LV-Lab 过甚他国表里科研机构的琢磨东说念主员暖热到:

基于视觉话语模子(VLM)的多智能体系统(MAS)正成为复杂多模态结合的中枢有商量,却被一个致命痛点死死卡住:多智能体视觉幻觉滚雪球——单个智能体的视觉误判通过纯文本信息流逐级放大,早期渺小造作最终演酿成系统性崩溃。

此前线案险些只聚焦「单智能体幻觉羁系」,根柢无法阻断跨智能体的造作传播。长轮次结合中,模子性能被幻觉"滚雪球"越拖越垮。

针对这一可贵,他们提倡了 ViF(Visual Flow),一种轻量通用的视觉流范式。用「视觉流 + 介意力重分拨」重构智能体间视觉传递逻辑,无需校正基座模子即可大幅压制幻觉滚雪球。

该职责已入选 ICLR 2026,在 8 大基准、4 种 MAS 结构、10 款主流 VLM 上终了踏实晋升。

纯文本流信息传递:导致视觉幻觉滚雪球效应

面前 VLM 多智能体结合,全程依赖文本流传递视觉信息,这一联想存在两大无法例避的颓势:

内在幻觉:单智能体自身生成与图像不符的造作视觉描摹;

幻觉传播:后续智能体过度依赖前置文本,将早期造作手脚先验,视觉 - 文本调治的损耗与偏差被逐级放大。

此前优化有商量险些王人只聚焦「单智能体幻觉羁系」,无法阻断跨智能体的造作传播;在长轮次结合中,模子性能可能会被视觉幻觉的"滚雪球"遭殃,可能导致无法胜任复杂视觉任务。

三种纬度的介意力分析:锁定要道局面成因

琢磨团队从轮次、层级、令牌三个维度作念深度介意力拆解,初次系统性的探究了幻觉滚雪球的实质:

1. 随智能体轮次增多,视觉令牌平均介意力分拨在第 20 轮暴跌 62%,中层视觉介意力峰值平直肃清;

2. 中层单峰介意力视觉令牌是保存原生视觉左证的中枢载体,对视觉领路起决定性作用;

3. 这类要道令牌占比从首轮 1.22% 骤降至第 20 轮 0.10%,视觉信息透顶被文本信息压制。

这些中枢发现,为精确成立视觉信息流提供了最要道的依据。

视觉流替代文本流:即插即用,轻量且兼容

ViF 透顶破除「纯文本传视觉」的逻辑,打造即插即用、模子无关的轻量「视觉平直传递」范式,两大中枢联想直击痛点:

视觉中继流(Visual Relay Tokens)精确筛选中层单峰视觉令牌作为视觉中继载体,结合辅导作念轻量化高下文编码,平直传递原生视觉左证,从根源幸免「视觉→文本」调治带来的信息损耗与偏差。

分层介意力重分拨中:中间层放概况道视觉令牌介意力、回收无效介意力;深层优化介意力区别,让视觉信号抓续聚会长轮次结合。

此外,FlashAttention 兼容有商量针对当代模子常用的 FlashAttention 2/3(无法赢得介意力分数),联想 Key-Norm 替代战略,兼顾成果与落地兼容性。该团队提倡的交替支拨较小,且可无缝适配不同 VLM 与 MAS 结构。

全维度晋升:幻觉滚雪球降近 40%

ViF 历程了全面的现实考据:

全散失踏实晋升:8 大概括 / 幻觉基准、4 种 MAS 结构(线性 / 分层 / 赶快 / 环形)、10 款基座模子(LLaVA、LLaVA-OV、Qwen2-VL、Qwen2。5-VL 等),平均晋升 2.4%~3.8%;

视觉幻觉滚雪球羁系:提倡了幻觉滚雪球分数 HS,并平均下落超 30%,交互最密集的环形结构降幅近 40%;

大模子增益更多:34B/32B 大参数模子晋升超 4%,透顶解锁大模子多智能体后劲;

多场景通吃:多图、视频等增强视觉场景,平均晋升 2.0%~4.9%;

高效:仅增多 8.1%~13.4% 推理蔓延、4.8%~11.9% 狡计支拨,大模子下支拨险些可忽略。

对比 5 款 SOTA 单智能体幻觉有商量,ViF 在多智能体场景下终了断层式卓绝:传统有商量只从单智能体起程,ViF 从底层割断视觉幻觉传播,显耀羁系多智能体幻觉滚雪球。

瞻望:解锁有用长轮次视觉多智能体结合

ViF 是业内首个从信息流重构层面措置多智能体视觉幻觉滚雪球的有商量,平直阻碍长轮次结合「越作念越错」的魔咒,它用较小的代价,成就了智能体间的视觉流信息传递,让多智能体结合信得过果真、可用。

论文:https://arxiv.org/pdf/2509.21789

代码:https://github.com/YU-deep/ViF

一键三连「点赞」「转发」「留神心」

迎接在辩驳区留住你的念念法!

—  完  —

咱们正在招聘别称眼疾手快、暖热 AI 的学术裁剪实习生  � �

感意思的小伙伴迎接暖热 � �  了解笃定

� � 点亮星标 � �

科技前沿发达逐日见云开体育

武东那套房,挂了两个月,三个东谈主来看,一个王人没回头。同小区比我挂得低的,还有好几套。 十年前买房要交茶水费,要连夜列队。当今是你降价,别东谈主比你降得更狠。 不是屋子不
财狗交易批驳©️有料交易剪辑团队原创 作 者 |玄 鸟 10月8日,国庆长假后第一个使命日,平直给尊界一记重拳,江淮汽车开盘即跳水,盘中波及跌停开云体育,报24.72元,市值一天挥发数十亿
有些东说念主今天在问:到底有若干钱? 其实,孙宇晨网传的85亿好意思元身价,听起来照实好多,不外亦然媒体估算折价出来的,他并不是竟然有85亿好意思元的股票梗概房产。孙宇晨我方也
每经AI快讯,9月18日音尘开云官网登录入口,工业和信息化部等十部门印发《医药工业发展“十五五”规画》,其中提到,壮大精确会诊产业畛域。要点发展高通量基因测序、微流控、高奢睿生
【免责声明】本文仅代表作家本东说念主不雅点,与和讯网无关。和讯网站对文中讲明注解、不雅点判断保握中立,不合所包含实质的准确性、可靠性或好意思满性提供任何昭示或线路的保证
每经AI快讯,据工信部9月18日音讯,工业和信息化部、国度发展矫正委、当然资源部、农业农村部、商务部、国度卫生健康委、救急科罚部、国度医保局、国度中医药局、国度药监局等十部门相

网址:www.itongltd.com

电话:26090223206

Powered by 开云官网登录入口 开云KaiyunApp官网入口 RSS地图 HTML地图

Copyright Powered by365站群 © 2013-2024
开云官网登录入口 开云KaiyunApp官网入口-云开体育多智能体协同作念视觉任务-开云官网登录入口 开云KaiyunApp官网入口