一小时录音,AI 先找出最该重听的那一分钟
目录
想在一小时访谈里找一个细节,最麻烦的往往不是回答,而是想起它出现在哪里。如果问题问的是背景里的铃声,搜索逐字稿还可能找不到入口:那一声根本没有被写成文字。
香港中文大学(深圳)与微软研究者在 2026 年 11 月 3 日提交的预印本 ReListen,让音频模型先替自己找证据,再回到原声作答。论文全文
AI 概念插画,非论文实验图。
先筛片段,再听重点
基础流程不更新模型参数。研究者使用 Qwen3-Omni,把录音切成 20 秒片段,每次向前移动 10 秒,让模型逐段判断:这里有没有回答问题所需的信息?
系统读取“是”和“否”的概率来排序,选出三个互不重叠的片段,再按时间顺序交给同一个模型作答。三个片段合计一分钟,未必连续。
这一分钟只指最终作答材料。前面的扫描仍然处理整段录音。 可以把它想成查书时先逐页找线索,再摊开相关几页回答,而不是随手翻开一页就理解了全书。方法说明
找对位置,和答对问题是两件事
在 VoiceGiraffe 的 1,499 道选择题上,ReListen 的正确率为 62.0%;同一模型读取整段转写文本时为 52.8%,直接接收带时间标记的完整录音时为 51.4%。
论文另一个醒目的数字是 88.5%。它表示选出的片段与人工标注证据至少部分重叠,并非答对了近九成问题。
成绩也随题目改变。在更偏重语言内容的 LongAudioSpan 上,ReListen 正确率为 53.5%,完整录音为 54.6%,模型自己的全文转写为 59.6%。保留原声有价值,覆盖更多内容同样有价值。结果与对照
一分钟装不下所有问题
“刚才那声响是什么”,通常可以回到局部查证。“整场讨论怎样发展”,需要的材料可能散布各处;“第三次出现在哪里”,还必须数清前面每一次。挑最相关的片段,并不能保证这些要求都满足。
论文为出现次数与顺序问题增加了受监督扩展,包括另行训练的声音检测器,不能把这部分成绩也算成完全免训练。速度比较则按每段录音只问一个问题计算;反复追问时,文字稿可以复用,相关性扫描却要随问题重做。限制与扩展
这项工作的启发很具体:做录音助手,除了追求更长的输入,还可以认真设计“该回到哪里听”。对使用者而言,也值得把找到的时间位置和最终回答分开检查。能定位到原声,才方便追问一句:这段声音真的支持这个答案吗?
论文:ReListen: Training-Free Evidence Localization in Hour-Long Audio with Frozen Audio Language Models
作者与机构:Ming-Hao Hsu、Shujie Liu 等;香港中文大学(深圳)、Microsoft CoreAI、微软亚洲研究院
提交日期:2026-11-03,arXiv 预印本 v1