一本從零開始全面了解貝葉斯優(yōu)化過程的書籍。
貝葉斯優(yōu)化可以說是一種黑盒優(yōu)化算法，該算法用于求解表達式未知函數(shù)的極值問題。盡管貝葉斯優(yōu)化的歷史可以追溯到很久以前，但在過去的十年里，貝葉斯優(yōu)化經(jīng)歷了一段復(fù)興和快速發(fā)展的時期。復(fù)興的主要驅(qū)動力是計算方面的進步，這使得貝葉斯建模和推理的工具越來越復(fù)雜。然而，具有諷刺意味的是，技術(shù)發(fā)展的關(guān)鍵動力根本不是貝葉斯，而是深度神經(jīng)網(wǎng)絡(luò)的興起。但訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)模型需要進行超參數(shù)優(yōu)化，有研究者證明可以利用貝葉斯優(yōu)化來解決這個問題。超參數(shù)優(yōu)化被證明是貝葉斯優(yōu)化的殺手級應(yīng)用，隨之而來出現(xiàn)了大量的關(guān)于開發(fā)新算法和改進舊算法的出版物。由于計算機科學(xué)出版模式的性質(zhì)，關(guān)于貝葉斯的最新研究進展分散在幾十篇簡短的出版物中，這種模式有助于微小的細節(jié)，但從整理來看，不利于算法的發(fā)展。?來自華盛頓大學(xué)的 Roman Garnett 撰寫了一本名為《 BAYESIAN OPTIMIZATION 》的書籍。這本書旨在為讀者提供一個從零開始全面了解貝葉斯優(yōu)化的過程，并細致的闡述了所有關(guān)鍵的想法。這種自下而上的方法允許我們在貝葉斯優(yōu)化算法中確定統(tǒng)一的主題，這些主題可能在以往的調(diào)研文獻時丟失。Garnett 主要研究興趣是為不確定性下的序列決策開發(fā)新的貝葉斯機器學(xué)習(xí)方法。Garnett 還對科學(xué)發(fā)現(xiàn)的算法特別感興趣，并獲得了 NSF CAREER 獎以支持這項研究。此外，他還是「CSE 515T：機器學(xué)習(xí)中的貝葉斯方法」主講老師。不過該書還不是最終版本，終稿將于 2022 年初由劍橋大學(xué)出版社出版。該書目標受眾是機器學(xué)習(xí)、統(tǒng)計學(xué)等相關(guān)領(lǐng)域的研究人員或研究生。在閱讀本書之前，你需要熟悉微分、積分、概率、線性代數(shù)、高斯分布。有時，書中的討論會轉(zhuǎn)向深奧的數(shù)學(xué)領(lǐng)域，對于這些內(nèi)容讀者可以忽略。
理論和實踐部分的高斯過程建模；
序列決策方面的貝葉斯方法；
優(yōu)化策略的實現(xiàn)。
此外，該書還包括一些其他主題：理論收斂結(jié)果的概述；可擴展調(diào)查；貝葉斯優(yōu)化發(fā)展史；在應(yīng)用中帶注釋的參考書籍。具體而言，書籍主要分 12 個章節(jié)：包括引言；高斯過程；高斯過程建模；模型評估、選擇和平均；優(yōu)化決策理論；優(yōu)化 Utility 函數(shù)；通用貝葉斯優(yōu)化策略；高斯過程的計算策略；實現(xiàn)方式；理論分析；擴展和相關(guān)設(shè)置；貝葉斯優(yōu)化發(fā)展史。
第 2-4 章介紹了高斯過程相關(guān)理論和高斯過程建模的實際應(yīng)用。這類模型是貝葉斯優(yōu)化文獻中最受歡迎的，其中包含的材料對接下來的幾章至關(guān)重要。
第 5-7 章介紹了序列決策及其在優(yōu)化中的應(yīng)用。盡管該理論需要一個目標函數(shù)模型和研究者對它的觀察，但該介紹與模型的選擇無關(guān)，可以獨立于前面關(guān)于高斯過程的章節(jié)閱讀。
第 8-9 章討論了計算和實現(xiàn)的細節(jié)。
第 10 章討論了貝葉斯優(yōu)化算法的理論性能界限，其中大多數(shù)結(jié)果密切依賴于目標函數(shù)的高斯過程模型或相關(guān)的重新生成核希爾伯特空間。
第 11 章介紹了對這一基本設(shè)置的幾個值得注意的擴展。每一個都是通過貝葉斯決策理論的統(tǒng)一視角系統(tǒng)地呈現(xiàn)出來的，以說明研究者在面對新情況時應(yīng)該如何處理。
第 12 章介紹了關(guān)于貝葉斯優(yōu)化思想方面的歷史研究，包括一些重要的數(shù)學(xué)示例。此外，本章還記錄了從 1962 年到現(xiàn)在關(guān)于貝葉斯優(yōu)化方面的主要思想進展。
