資源 | 北大「最優(yōu)化：建模、算法與理論」新書, 附579頁電子版與課件

來源：專知

本文附PPT，建議閱讀5分鐘
最優(yōu)化計(jì)算方法是運(yùn)籌學(xué)、計(jì)算數(shù)學(xué)、機(jī)器學(xué)習(xí)和數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)等專業(yè)的一門核心課程。

鏈接：

http://bicmr.pku.edu.cn/~wenzw/optbook.html

• 基礎(chǔ)知識：第二章介紹最優(yōu)化建模和算法中經(jīng)常需要使用的一些基礎(chǔ)知識，包括范數(shù)、導(dǎo)數(shù)、凸集、凸函數(shù)、次梯度、共軛函數(shù)等。此外為了內(nèi)容的完整性也在附錄部分簡要概述了一些基礎(chǔ)知識，其中線性代數(shù)包含矩陣、特征值、廣義逆、SMW公式、Schur補(bǔ)等，數(shù)值代數(shù)包括范數(shù)、方程組求解、矩陣分解、數(shù)值代數(shù)軟件包等，概率論包含隨機(jī)變量、期望、方差、條件期望、概率不等式等重要概念和結(jié)論。

• 優(yōu)化建模：第三章闡述一些典型的優(yōu)化建模方法，并以科學(xué)工程計(jì)算和機(jī)器學(xué)習(xí)中一些典型問題為例介紹如何建立優(yōu)化模型。第四章給出了最優(yōu)化問題的一些典型分類和判別技巧，如線性規(guī)劃、半定規(guī)劃、最小二乘問題、復(fù)合優(yōu)化、矩陣優(yōu)化、隨機(jī)優(yōu)化等等。一個(gè)實(shí)際問題根據(jù)其側(cè)重點(diǎn)可以由不同的優(yōu)化模型來描述，一種優(yōu)化模型也可以對應(yīng)很多不同的實(shí)際應(yīng)用。

• 最優(yōu)性理論：第五章介紹最優(yōu)性理論，包括最優(yōu)解的存在性和唯一性，無約束可微問題、無約束不可微問題、帶約束優(yōu)化問題的一階或二階最優(yōu)性條件，對偶理論，帶廣義不等式（如半定規(guī)劃問題）的對偶理論。

• 最優(yōu)化算法：第六章介紹無約束優(yōu)化算法，包括線搜索方法、梯度類算法、次梯度算法、牛頓類算法、信賴域算法、非線性最小二乘法。第七章介紹約束優(yōu)化算法，包括罰函數(shù)法、增廣拉格朗日函數(shù)法及其在典型凸優(yōu)化問題的主問題和對偶問題上的具體應(yīng)用，線性規(guī)劃內(nèi)點(diǎn)法。第八章介紹復(fù)合優(yōu)化算法，包括近似點(diǎn)梯度法、Nesterov加速算法、近似點(diǎn)算法、分塊坐標(biāo)下降法、對偶算法、交替方向乘子法、隨機(jī)優(yōu)化算法。