报告题目：大脑如何表征图片的语义内容：基于卷积神经网络模型的探索

报告人：徐华伟博士

报告时间：2023年6月8日 上午10:30

报告地点：amjs澳金沙门线路首页303会议室

报告摘要：能够实现物体识别功能的卷积神经网络为腹侧视觉通路的研究提供了重要工具——二者在功能和结构上的相似性吸引了大量的研究者深入其中。使用卷积神经网络作为腹侧视觉通路计算模型的研究不仅使得“读心”成为可能并进一步促使了深度学习和认知神经科学的融合。然而，卷积神经网络自身是一个黑箱。这就使得任何试图通过卷积神经网络理解腹侧视觉通路的研究最终会面临用一个黑箱解释另一个黑箱的困境——虽然经由卷积神经网络获得的深度特征可以预测腹侧神经通路的神经活动，但是由于深度特征自身的意义不明，这种预测难以增进我们对腹侧视觉通路神经机制的理解。因此，这一新兴研究领域正面临巨大争议。

在本研究中，我们借助于卷积神经网络的一个有趣应用试图在一定程度上绕过黑箱困境——由神经风格转换算法(Neural style transfer)可知，从VGG19中的CONV4_2提取的深度特征可以看作是对图片语义内容的表征。因此，我们可以借助这一具有明确意义的深度特征在编码模型的框架下探讨腹侧视觉通路是如何表征图片的语义内容这一问题。结合编码模型和表征相似性分析的结果，我们可以观察到用于表征图片语义内容的深度特征其所能够预测的体素主要分布在早期视觉皮层(V1、V2、V3)并且图片的语义内容既与图片标签的语义相关又同时在一定程度上保留了图片的具体细节。该结果主要涉及大脑中的信息表征格式这一基本问题并在双重编码理论和扎根认知理论这两个相互矛盾的理论解释之间为后者提供了初步的证据支持。

本研究于2022年10月发表在《Neural Networks》 （中科院1区TOP，IF=9.657，https://doi.org/10.1016/j.neunet.2022.06.034）。

报告人简介：徐华伟，华南师范大学心理学博士。主要研究方向：结合脑功能磁共振成像技术(fMRI)与深度学习方法探索视觉物体识别功能以及表象功能在大脑中的具体实现过程。