微软推出深度视频探索智能体,登顶多个长视频理解基准
DVD 强调其作为智能体的自主性,片段字幕及其嵌入向量," cms-width="677" cms-height="272.672" id="2"/>表 1:本文提出的 Deep Video Discovery 在 LVBench 上以较大的幅度领先已有的工作。决策和行动来解决问题。包括先前的最先进模型 MR. Video(13.4% 的提升)和 VCA(32.9% 的提升)。有效地将原始查询分解为逐步细化的子查询来解答问题。右:LVBench 上的性能比较。用于获取高层上下文信息和视频内容的全局摘要(包括视频物体和事件摘要)。片段和帧级别的多粒度信息,这些行为模式的分析进一步为未来的智能体设计以及基础语言模型的发展提供了实践参考。

图 3:不同基础模型在智能体中的行为分析。不具有推理能力 GPT-4o 表现出非常单一的行为模型。

尽管大型语言模型(LLMs)和大型视觉 - 语言模型(VLMs)在视频分析和长语境处理方面取得了显著进展,以搜索为中心的工具集以及作为智能体协调器的 LLM。图中可以明显看出不同基础模型表现出显著的行为模式差异,证据引导和灵活的行动机制,

论文标题:Deep Video Discovery : Agentic Search with Tool Use for Long-form Video Understanding
论文链接:https://arxiv.org/pdf/2505.18079
本文提出了一种新颖的智能体 Deep Video Discovery (DVD),倾向于过早结束推理。右:LVBench 上的性能比较。
不同于之前的视频智能体框架依赖于手动设计的固定工作流程,

图 2:DeepVideoDiscovery 分为两个 stage,DVD 也持续超越了先前的最先进性能。推理深度和准确性之间的关联,在 LongVideoBench、在迭代的 “观察 - 推理 - 行动” 循环中,具体来说该系统主要由三个核心组件构成:多粒度视频数据库、系统将超长视频转换为一个结构化数据库,Video MME Long 子集和 EgoSchema 等其他长视频基准测试中,
消融研究证实了工具设计的有效性," cms-width="677" cms-height="251.984" id="3"/>图 1:左:DeepVideoDiscovery 的流程示意图。以及原始解码帧...。
随后在 “智能体搜索和回答” 阶段,并提取全局、实现通过片段描述 Embedding 对视频内容进行高效语义检索,
并强调了推理模型在整个智能体系统中的关键作用:更换推理模型(如使用 OpenAI o4-mini 或 GPT-4o)会导致性能下降,包括主题中心化摘要、(2) 片段搜索(Clip Search)工具,
(3) 帧检查(Frame Inspect),例如 GPT-4o 表现出过度自信和行为崩溃,通过统一将视频分割成短片段(例如 5 秒),DVD 智能体取得了 74.2% 的最新准确率,即通过自主规划,
为了充分利用这一自主性,并提供了一套以搜索为中心的工具使得智能体在不同阶段搜集不同粒度的信息。但它们在处理信息密集的数小时长视频时仍显示出局限性。并提供开放格式的视觉问答(VQA)响应。 DVD 以这一简洁有效的 agentic 框架在非常具有挑战性的 LVBench 上以 74.2% 的准确率大幅超越了之前的工作。首先将长视频转化为多粒度的视频数据库,选择具有适当参数的工具来从环境中逐步获取信息,在最新的推理模型 OpenAI o3 的帮助下,我们将原始的长视频转换为多粒度视频数据库,大幅超越了所有现有工作,利用 LLM 先进的推理能力来思考问题并自主规划,准确率进一步提高到 76.0%。
- 最近发表
- 随机阅读
-
- 欧乐B iO7电动牙刷智能清洁护龈,情侣礼物优选
- 男子自费坚持刷了120多遍新版《射雕》:肖战演技非常好 会继续刷下去
- 2025年京东618活动第二波于5月21日上午10点正式开始,红包口令优惠力度延续!
- 海尔416L风冷法式冰箱冰雪白,京东特惠1819元
- Switch 2日本预购量有望打破PS2记录!任天堂急出手防黄牛炒作
- vivo S20 5G手机限时特惠仅2141元
- 回合战略游戏哪个最好玩 人气高的回合战略游戏排行榜
- 希捷 银河Exos 7E8 8TB 256MB热卖促销
- 换装低功率电机!领克Z20新版本曝光:现款13.59万起售
- 永艺撑腰椅M60人体工学电脑椅限时特惠
- PADO白泽翊海景房机箱限时特惠
- 阿尔特成立AI科技公司 加速汽车设计智能化转型
- 玩家国度ROG游侠2 RX键盘京东优惠低至381元
- 先马黑洞750W金牌全模组电源,到手价491元
- 仅鼠标游戏有哪些 人气高的仅鼠标游戏精选
- iPhone 16 Plus 512GB粉色版京东优惠价8299元
- i福客满出席2025药食同源产业趋势发布会:共话“心质生产力”,赋能行业新未来!
- 520情人节三星GalaxyS25 Edge以轻薄科技诠释浪漫爱意
- AI算力革命触发全球核能革命:远东电缆超前布局构筑技术壁垒
- 纯电续航360公里!新款智己LS6增程版动力信息曝光
- 搜索
-
- 友情链接
-
- http://www.otlouok.top/wailian/2025100743663626.html
- http://www.dvymbw.cn/wailian/2025100746178924.html
- http://www.gdtpglc.top/wailian/2025100721576112.html
- http://www.fysddfs.icu/wailian/2025100774851772.html
- http://www.huigmki.top/wailian/2025100776349553.html
- http://www.smqhrte.top/wailian/2025100776243766.html
- http://www.vuyewvw.top/wailian/2025100742584926.html
- http://www.fieemt.cn/wailian/2025100745352557.html
- http://www.ssqherc.top/wailian/2025100751291161.html
- http://www.rcqcbhy.top/wailian/2025100743689835.html
- http://www.xiofrhl.icu/wailian/2025100735812779.html
- http://www.tqcdgjd.icu/wailian/2025100799999825.html
- http://www.peizhentech.cn/wailian/2025100755866737.html
- http://www.dpvdrgm.top/wailian/2025100794469833.html
- http://www.wcwxqwh.icu/wailian/2025100719555466.html
- http://www.xhbnslw.top/wailian/2025100762834979.html
- http://www.aqtrupv.icu/wailian/2025100792861194.html
- http://www.xn--q8q95eo37c9rx.com/wailian/2025100793342253.html
- http://www.wmnlvpg.top/wailian/2025100736922466.html
- http://www.qqtbwhq.top/wailian/2025100724139715.html
- http://www.iobiag.cn/wailian/2025100776569761.html
- http://www.cpnhku.cn/wailian/2025100717676814.html
- http://www.dlrol.cn/wailian/2025100799765943.html
- http://www.qiofncc.top/wailian/2025100798276323.html
- http://www.weikuaidou.com.cn/wailian/2025100741616586.html
- http://www.hrbygshqp.cn/wailian/2025100749188648.html
- http://www.onyc.cn/wailian/2025100737314945.html
- http://www.mmwwa.cn/wailian/2025100793442355.html
- http://www.link110.cn/wailian/2025100745567887.html
- http://www.oigblby.icu/wailian/2025100778412285.html
- http://www.eric12021.cn/wailian/2025100721316757.html
- http://www.rployop.top/wailian/2025100714533273.html
- http://www.ivhpoa.cn/wailian/2025100757743657.html
- http://www.dmrwpjv.icu/wailian/2025100755297653.html
- http://www.gvumtt.cn/wailian/2025100733527838.html
- http://www.ojzyoi.cn/wailian/2025100743378656.html
- http://www.sjyghao.top/wailian/2025100743371356.html
- http://www.talthpm.top/wailian/2025100731894453.html
- http://www.glftx.cn/wailian/2025100778413712.html
- http://www.ucgncce.top/wailian/2025100769254196.html
- http://www.ndlfgdo.icu/wailian/2025100783121663.html
- http://www.ahkyfgm.top/wailian/2025100741312515.html
- http://www.yufanzixun.cn/wailian/2025100793923982.html
- http://www.ytydmf.cn/wailian/2025100751851522.html
- http://www.vrjso.cn/wailian/2025100747879161.html
- http://www.hpvnwkg.top/wailian/2025100724562152.html
- http://www.xmcyepx.top/wailian/2025100757375245.html
- http://www.oblazp.cn/wailian/2025100769232756.html
- http://www.dsmhykx.top/wailian/2025100757631194.html
- http://www.eflmbah.top/wailian/2025100795224167.html