最优化理论与算法：基础课程笔记

最优化理论与算法基础课程的系统笔记，从凸分析与最优性条件出发，沿「算子 — 不动点 — 收敛性」这条主线串起梯度下降、投影梯度法、邻近算法与对偶 / ADMM 方法。

• 第一章：基础理论 — 优化问题的建模与分类、凸集与凸函数、最优性条件、约束优化的三种等价形式、收敛性与收敛速度。
• 第二章：算子理论与不动点 — 五类映射的层次结构、不动点迭代的四步收敛范式、均值算子与 KM 定理、投影算子的稳定非扩张性、次微分与法锥。
• 第三章：梯度下降与线搜索 — 迭代框架与 L-光滑性、线搜索准则、下降引理、凸与强凸函数上的收敛率、线性化展开视角。
• 第四章：投影梯度法 — 投影算子及其闭式公式、基本与变步长投影梯度法、外梯度投影法与变分不等式。
• 第五章：邻近算法 — 邻近算子与 Moreau 包络、极大单调算子、邻近点算法 PPA 及其松弛、邻近梯度算法 PGA。
• 第六章：对偶方法与 ADMM — 拉格朗日对偶与 KKT 条件、对偶上升法、增广拉格朗日法 ALM、交替方向乘子法 ADMM。