科研新闻
   新闻动态
      图片新闻
      头条新闻
      综合新闻
      科研新闻
      人物风采
      季度通讯
现在位置:首页 > 新闻动态 > 科研新闻
(袁亚湘、刘歆)提出了一类新的正交约束优化问题的算法框架
2018-06-13 | 编辑:华罗庚数学中心

  正交约束优化问题在机器学习、图像处理、材料科学中有广泛的应用。已有的算法大部分基于回缩(retraction)框架,因此需要进行流形上测地线或其切空间的计算。本工作提出了一类新的正交约束优化问题的算法框架,其主要步骤是欧式空间的下降步,和对应于正交约束的拉格朗日乘子的校正步,因而可以免去流形上测底线或其切空间的计算,节省每步迭代计算量。选取合适的欧式空间下降步,还能同时加快迭代的收敛速度。我们提出了三种实现方式:梯度投影、梯度反射、按列块坐标下降。它们的数值表现比已有方法更稳定,更高效。基于乘子校正,我们还进一步设计了求解正交约束的不可行方法。我们的方法每一个迭代步由增广拉格朗日函数的梯度步和乘子显式更新组成,避免了正交化,因此适合做并行计算。我们实现了算法的并行化,数值实验显示我们的方法可扩展性非常高,并且128核的计算效果明显优于已有算法。这是求解正交约束优化问题的第一个数值成功的完全可并行方法。 

  与本成果相关的论文: 

  1. B. Gao, X. Liu, X. Chen and Y. Yuan, A New First-order Framework for Orthogonal Constrained Optimization Problems, SIAM Journal on Optimization, accepted 

  2. C. Chen, M. Li, X. Liu and Y. Ye, Extended ADMM and BCD for Nonseparable Convex Minimization Models with Quadratic Coupling Terms: Convergence Analysis and Insights, Mathematical Programming (DOI:10.1007/s10107-017-1205-9), 2017 

  3. H. Wang, X. Liu, X. Chen and Y. Yuan, SNIG Property of Matrix Low-rank Factorization Model, Journal of Computational Mathematics, 36-3 (2018), 1–17.  

  4. B. Gao, X. Liu and Y. Yuan, Algorithms for Optimization Problems with Orthogonality Constraints, OR Transactions, 21-4 (2017), 57-68. 

附件下载:
 
 
【打印本页】【关闭本页】
电子政务平台   |   科技网邮箱   |   ARP系统   |   会议服务平台   |   联系我们   |   友情链接