无监督视觉目标跟踪要求在视频中跟踪任意目标,但训练过程中不使用任何人工标注的真值框。这一任务的核心挑战在于,模型仅凭第一帧给定的目标外观,就需在整个后续视频序列中持续定位该目标。现有无监督跟踪器在需要细粒度理解视频帧中语义和视觉结构信息的场景下表现不佳。
文生图扩散模型以其精准反映输入文本中描述的语义和结构的能力而闻名。这类模型通过交叉注意力机制建立了文本与图像之间的桥梁:当同时输入文本和图像时,交叉注意力图会高亮显示图像中与文本语义对齐的区域。基于这一原理,Diff-Tracking方法将预训练文生图扩散模型重新解释为文本与图像模态之间的连接器,从而实现无监督目标跟踪。
该方法包含两个主要组件:初始提示学习器和在线提示更新器。初始提示学习器根据第一帧的目标对象生成一个提示向量,使扩散模型能够识别出该目标。在线提示更新器则基于运动信息不断优化该提示,确保模型能够跨视频帧持续跟踪目标。将跟踪任务转化为“学习一个能激活目标对应区域的提示”这一问题后,预训练扩散模型中的丰富语义知识得到了充分利用。该方法在六个具有挑战性的跟踪数据集上进行了评估,结果验证了其有效性。
前往 DeepSeek 体验
消息来源:DeepSeek 官方公告 · 本站快讯组整理