你的AI其实怕黑也怕遮挡

通常你平常所见到的多模态大模型呈现, 大多都是对着彩色照片滔滔不绝地讲述。然而一旦转变为热成像、深度图或者毫米波雷达信号, 这些模型便都集体沉默不语了。香港中文大学AIoT实验室与UIUC、哥伦比亚大学以及匹兹堡大学的研究团队联袂, 利用CUHK – X数据集将这个问题以量化的方式展现了出来。他们得出了一个严峻的结论: 即便把模型参数堆积到235B, 依旧无法挽救回来。

为什么日常监测场景里AI经常掉链子

夜里的时候, 光线存在不足的情况, 又被家具所进行遮挡, 并且出于隐私的考虑不可以安装摄像头, 这些情况恰恰就是日常监测最为常见的工况, 而这也恰恰是RGB最不擅长的地方。问题在于, 模型在这些非视觉模态方面的表现, 和它在RGB上所呈现出的光鲜形成了刺眼的反差。这件事情的根子也很清楚易懂, 训练它们的数据长期处于缺少的状态, 评测它们的数据同样长期是缺少的。

绝大多数现有的人类活动识别数据集, 仅仅给出粗粒度的标签, 像一条「跌倒」, 一条「睡觉」, 既不存在连贯的语义描述, 又不涵盖多模态, 这种数据方面的缺陷致使模型一旦脱离RGB画面, 便会变得如同瞎子一般。

CUHK-X数据集到底有什么不一样

CUHK – X有64,267个活动样本, 这些样本覆盖7种同步模态, 还有40种日常动作, 涉及30名参与者。更关键的是其采集逻辑是反着来的。以往做法是将若干单模态数据集的粗标签拼在一起, 然后让LLM自动编描述, 然而CUHK – X是先把动作逻辑串联成连贯的生活场景描述, 之后再对描述做语言风格扩展。

四位研究生级标注员, 按照物理可行性、场景一致性、时间因果与常识约束这四个维度, 进行人工把关, 之后才使得参与者理解描述、自然表演。这是首个大规模活动数据集, 且它同时覆盖RGB、深度、热成像、红外、骨架、IMU、毫米波雷达七种模态。

六项评测任务几乎每项都冲着短板去

40类动作分类任务在HAR基准下被设置, 用于检验各模态对识别模型的支撑力, HAU基准下设置了4项任务涵盖描述比较, 上下文分析, 动作序列重排以及动作选择, 基于前序动作预测下一个最可能动作的任务在HARn基准下被设置, 直接针对意图推理与因果推断。

此种设计致使模型几乎不存在藏拙的余地。越是朝着上方行进, 越对模型针对上下文以及因果的把控提出考验, 并且越趋近于智慧医疗、居家养老切实所需求的能力。

模态之间存在明显的鄙视链

HAR七模态平均被识别为准确的比率是76.52%, 其中视觉模态处于领先地位。热成像所获得的准确率是92.57%、F1为93.36%, RGB以及深度的F1分别是91.28%与90.93%。然而弱模态并非毫无作用, IMU以及毫米波雷达的判别能力天生较弱, 却在阻碍、光线昏暗以及对隐私敏感的场景之中, 提供着视觉模态无法给予的互补性价值。

其实验所揭示的是, 单纯依靠堆参数, 在所有任务以及模态方面, 并不能实现普遍的提升。会进行推理的模型, 显著地强于只会描述的类型。在HARn基准当中, 三种视觉模态所达成的平均推理准确率为70.25%。

没有任何单一模型能在所有模态上通吃

HAU四项子任务的平均准确率仅仅是40.76%, 即便最高的也不过才50.52%罢了。在描述比较任务里, 某个7B模型取得了最佳F1, 然而, 当更换一种模态, 再更换一项任务时, 处于领先位置的又会发生改变。这样一种没法测出一个稳定赢家的状况, 恰好表明了基准自身的区分度以及挑战性。

一旦踏入真实物理世界那无法躲开的非 RGB 模态以及繁复的时序推理, 能力方面的短板便会毫无保留地显现出来, 要去弥补这块不足之处 , 单凭将模型扩大显然是不够的 , 必须从数据以及评测的根源上面进行重新构建。

未来多模态大模型理应率先去攻克哪一种并非视觉方面的信号, 你是怎么认为的, 欢迎在评论区域分享出你的看法, 点赞并且转发, 从而让更多的人能够看到这个实实在在的能力断崖。