Academy of Mathematics and Systems Science, CAS
Colloquia & Seminars

Speaker:	陈键飞助理教授，清华大学
Inviter:	史斌副研究员
Title:	基于随机量化的高效神经网络训练理论及算法
Time & Venue:	2022.09.16 15:00-16:00蓝白楼311
Abstract:	深度学习模型的规模与日俱增，训练神经网络的计算和内存需求快速增长。量化神经网络降低了神经网络计算所使用的数值精度，是加速神经网络训练、节省内存开销的有效手段。量化操作对模型的表达能力、泛化能力、训练算法的收敛行为的影响尚不明确。本次报告将首先介绍深度学习中量化方法的应用场景及研究现状。随后将介绍报告人在量化神经网络训练理论保证方面的一些工作：通过在量化操作中引入随机性，分析引入量化操作后随机梯度的性质，从而分析算法的收敛行为。报告的最后介绍基于随机量化的训练方法在加速计算和节省内存方面的应用。