凸优化ADMM(Alternating Direction Method of Multipliers)交替方向乘子算法

ADMM算法理论与应用

Posted by Jiaqian Li on 2018-12-05

介绍

交替方向乘子法(Alternating Direction Method of Multipliers,ADMM)是一种解决可分解凸优化问题的简单方法,尤其在解决大规模问题上卓有成效,利用ADMM算法可以将原问题的目标函数等价的分解成若干个可求解的子问题,然后并行求解每一个子问题,最后协调子问题的解得到原问题的全局解。ADMM 最早分别由 Glowinski & Marrocco 及 Gabay & Mercier 于 1975 年和 1976 年提出,并被 Boyd 等人于 2011 年重新综述并证明其适用于大规模分布式优化问题。由于 ADMM 的提出早于大规模分布式计算系统和大规模优化问题的出现,所以在 2011 年以前,这种方法并不广为人知。

对偶上升方法

对偶分解性

增广拉格朗日(乘子法)

ADMM

全局变量一致性优化(Global Variable Consensus Optimization)

ADMM算法的应用

Lasso问题

可参考如下资料:
Distributed Optimization and Statistical Learning via the Alternating Direction Method of Multipliers(第7页到第15页)
分布式计算、统计学习与ADMM算法
https://blog.csdn.net/oBanTianYun/article/details/72590188