Academy of Mathematics and Systems Science, CAS
Colloquia & Seminars

Speaker:	王润琪博士，北京航空航天大学
Inviter:
Title:	Modulated Convolutional Networks
Time & Venue:	2021.12.13 19:00-20:00 内部讨论班
Abstract:	虽然深度卷积神经网络(DCNN)在各种视觉任务中取得了压倒性的成功，但其计算负担和存储开销阻碍了模型部署。近年来，DCNN模型的压缩受到了越来越多的关注，其中基于二值化的方案由于其高压缩率而引起了很大的研究热点。在本文中，我们提出了调制卷积网络(MCN)来获得高性能的二值化DCNN。我们在MCN中实现一种新的架构，有效地融合多种功能，并实现与全精度模型相似的性能。将MCN的计算从理论上重新表述为离散优化问题，首次构建二值化DCNN，在统一框架下共同考虑滤波损耗、中心损耗和softmax损耗。MCN凭借其通用性，可以将DCNN(如VGG、AlexNet、ResNets或Wide-ResNets)中的全精度滤波器分解为一组紧凑的二值化滤波器，这些二值滤波器在反向传播过程中根据投影函数和新的更新规则进行优化。此外，报告将介绍调制滤波器(M滤波器)，构成了特定的网络计算结构。MCN将卷积滤波器的存储成本降低了32倍，性能与全精度模型相当，实现了比其他的SOTA二值化模型更好的性能。