Academy of Mathematics and Systems Science, CAS
Colloquia & Seminars

Speaker:	何晖光研究员，中国科学院自动化研究所
Inviter:	贾晓红
Title:	“深度学习类脑吗？”--- 基于视觉信息编解码的深度学习类脑机制研究
Time & Venue:	2021.12.14 10:00-11:00 N205 腾讯会议：618-394-900
Abstract:	卷积神经网络的提出受到大脑的启发，但深度学习是否类脑？目前并没有统一的认识。对深度学习的类脑机制研究将有助于加深理解深度学习。我们将从视觉信息编解码的角度出发，建立从人类视觉系统与外界视觉刺激信息之间的映射模型，探索大脑视觉信息处理的过程和机理，希望利用机器智能实现对人类视觉感知功能的模拟，从而提升计算机处理视觉信息的能力。我们提出了一个基于多视图贝叶斯深度生成模型，可通过fMRI信号重建看到的图像。在公共数据集上已取得了目前最好的解码效果。更进一步，我们构建了面向视觉重建任务的半监督对抗学习框架。该框架基于多视图对抗学习，将大脑活动模式的语义解码和图像重建任务统一在一个框架下。一方面，该框架将脑活动的语义预测任务及视觉图像重建任务协同训练，解码出了明确清晰的图像语义，实现了图像的重建。该框架利用脑活动和视觉图像语义特征进行交互学习，弥补了不同模态之间的鸿沟。相关工作发表在IEEE TNNLS, Pattern Recognition, AAAI上，并被MIT Technology Review头条报道。