介绍
交替方向乘子法(Alternating Direction Method of Multipliers,ADMM)是一种解决可分解凸优化问题的简单方法,尤其在解决大规模问题上卓有成效,利用ADMM算法可以将原问题的目标函数等价的分解成若干个可求解的子问题,然后并行求解每一个子问题,最后协调子问题的解得到原问题的全局解。ADMM 最早分别由 Glowinski & Marrocco 及 Gabay & Mercier 于 1975 年和 1976 年提出,并被 Boyd 等人于 2011 年重新综述并证明其适用于大规模分布式优化问题。由于 ADMM 的提出早于大规模分布式计算系统和大规模优化问题的出现,所以在 2011 年以前,这种方法并不广为人知。
对偶上升方法
对偶分解性
增广拉格朗日(乘子法)
ADMM
全局变量一致性优化(Global Variable Consensus Optimization)
ADMM算法的应用
Lasso问题
可参考如下资料:
Distributed Optimization and Statistical Learning via the Alternating Direction Method of Multipliers(第7页到第15页)
分布式计算、统计学习与ADMM算法
https://blog.csdn.net/oBanTianYun/article/details/72590188