Academy of Mathematics and Systems Science, CAS
Colloquia & Seminars

Speaker:	王奕森教授，北京大学
Inviter:
Title:	不可学习样本
Time & Venue:	2022.10.14 N202
Abstract:	神经网络安全是当今一个重要的研究领域。当我们的私人数据被别人未经允许拿去使用并利用网络去学习的时候，往往会导致严重的后果。我们通过研究发现，对于训练数据，可以往其中加入一些小的扰动，这些扰动对于人眼来说是不可见的，但是加入了扰动的训练集就会变得不可学习。即是说网络仍然可以拟合这些数据，但是拟合出的网络在标准样本上不具有泛化能力。这样就可以避免私人数据被拿去学习。加入扰动使得训练及不可学的数学模型通常可写为: Max_{ε_i}[(∑_{i=1}^N L(x_i+ε_i))/N-E_{x~D}(L(x))] 所以我们使用如下方式来训练一个可以产生如此扰动的网络参数θ： Min_{θ}Min_{ε}E_x(L(x+ε,θ)) 然后利用反向的PGD寻找扰动： ε_i=PGD(F_{θ},x_i,y_i,-ɑ,k)(注释：ɑ>0为步长,k∈N 为步数) 以此所得的{ε_i}加入训练集后会使得数据集不可学。同时对于对抗训练,我们可以先使用对抗训练网络参数θ，然后利用PGD寻找扰动： ε_i=PGD(F_{θ},x_i,y_i+1,ɑ,k) 以此所得的{ε_i}加入训练集后会使得数据集不可学且在对抗训练下依旧不可学。