【ICML2024】揭示大脑中视觉-语言整合的多模态网络

数据派THU

共 760字,需浏览 2分钟

 · 2024-07-01

   
来源:专知
本文为论文介绍,建议阅读5分钟
我们发现,在我们评估的多模态训练技术变体中,CLIP风格的训练最适合下游神经活动预测。


我们使用(多)模态深度神经网络(DNNs)来探测人类大脑中多模态整合的部位,通过预测人类受试者在观看电影时进行的立体脑电图(SEEG)记录来实现这一目标。我们将多模态整合的部位操作化为多模态视觉-语言模型比单模态语言、单模态视觉或线性整合的语言-视觉模型更好地预测记录的区域。我们的目标DNN模型涵盖不同的架构(如卷积网络和Transformer)和多模态训练技术(如交叉注意力和对比学习)。作为关键的启用步骤,我们首先证明了训练过的视觉和语言模型在预测SEEG信号的能力上系统地优于其随机初始化的对应模型。然后,我们将单模态和多模态模型进行比较。由于我们的目标DNN模型通常具有不同的架构、参数数量和训练集(可能掩盖因整合而产生的差异),我们对两个模型(SLIP和SimCLR)进行了受控比较,这两个模型除了输入模态外,其余属性保持相同。通过这种方法,我们确定了大量的神经部位(平均1090个总部位中的141个或12.94%)和大脑区域,在这些区域似乎发生了多模态整合。此外,我们发现,在我们评估的多模态训练技术变体中,CLIP风格的训练最适合下游神经活动预测。

浏览 1
点赞
评论
收藏
分享

手机扫一扫分享

举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

举报