斯坦福CS329S：機(jī)器學(xué)習(xí)系統(tǒng)設(shè)計(jì)，課程、筆記上線了！

↑↑↑關(guān)注后"星標(biāo)"Datawhale

每日干貨?&?每月組隊(duì)學(xué)習(xí)，不錯(cuò)過(guò)

?Datawhale干貨?

作者：蛋醬，來(lái)源：機(jī)器之心

這是一門(mén)新的課程——在學(xué)習(xí)了算法、框架等內(nèi)容后，是時(shí)候深入了解一下「機(jī)器學(xué)習(xí)系統(tǒng)設(shè)計(jì)」了！

近日，斯坦福大學(xué)宣布開(kāi)設(shè)一門(mén)全新課程：CS 329S《機(jī)器學(xué)習(xí)系統(tǒng)設(shè)計(jì)》。

課程主頁(yè)：https://stanford-cs329s.github.io/

這門(mén)課程的主講人、計(jì)算機(jī)科學(xué)家 Chip Huyen 也在推特上認(rèn)真宣傳了一波（很多人應(yīng)該都讀過(guò)她的博客文章，因?yàn)檫@位小姐姐確實(shí)很有名氣）。

機(jī)器學(xué)習(xí)系統(tǒng)設(shè)計(jì)的概念是指，為了滿足特定要求，針對(duì)機(jī)器學(xué)習(xí)系統(tǒng)對(duì)軟件體系架構(gòu)、基礎(chǔ)架構(gòu)、算法和數(shù)據(jù)進(jìn)行定義的過(guò)程。雖然現(xiàn)有的系統(tǒng)也可以滿足大部分模型搭建的需求，但我們必須承認(rèn)：首先，工具空間是不斷革新的；其次，業(yè)務(wù)需求是不斷變化的；最后，數(shù)據(jù)分布也是持續(xù)更替的。因此，「系統(tǒng)」是很容易過(guò)時(shí)的。如果不能及時(shí)更新，那么出錯(cuò)、崩潰都是可以預(yù)料的。這也是本門(mén)課程開(kāi)設(shè)的初衷。

本門(mén)課程旨在為現(xiàn)實(shí)中的機(jī)器學(xué)習(xí)系統(tǒng)提供一個(gè)迭代框架，該框架的目標(biāo)是構(gòu)建一個(gè)可部署、可信賴、可擴(kuò)展的系統(tǒng)。首先要考慮的是每個(gè) ML 項(xiàng)目的利益相關(guān)者及目標(biāo)，不同的目標(biāo)則需要不同的設(shè)計(jì)選擇，且要考慮如何權(quán)衡。

課程涵蓋了從項(xiàng)目界定、數(shù)據(jù)管理、模型開(kāi)發(fā)、部署、基礎(chǔ)架構(gòu)、團(tuán)隊(duì)架構(gòu)到業(yè)務(wù)分析的所有步驟，在每個(gè)步驟中，都會(huì)探討不同解決方案的動(dòng)機(jī)、挑戰(zhàn)和局限性。在課程的最后一部分，將會(huì)探討機(jī)器學(xué)習(xí)生產(chǎn)生態(tài)系統(tǒng)的未來(lái)。學(xué)生們還將學(xué)習(xí)關(guān)于隱私、公平、安全方面的知識(shí)。

學(xué)習(xí)這門(mén)課程的學(xué)生應(yīng)該滿足以下條件：

• 具備基本的計(jì)算機(jī)科學(xué)原理和技能知識(shí)，能夠編寫(xiě)一般的計(jì)算機(jī)程序（比如完成了 CS106B / X 等課程）；

• 對(duì)機(jī)器學(xué)習(xí)算法有著良好的掌握（比如完成了 CS229、CS230、CS231N、CS224N 等課程）；

• 熟悉至少一個(gè)框架，比如 TensorFlow，PyTorch，JAX；

• 熟悉基本的概率論（比如完成 CS109 或 Stat116 等課程）

鑒于大多數(shù)課程都會(huì)使用 Python，因此也建議選擇這門(mén)課程的學(xué)生了解一點(diǎn) Python 知識(shí)。

這門(mén)課程沒(méi)有教科書(shū)，主要依賴于課堂講義和一些閱讀材料。課程視頻都會(huì)被錄制保存，目前僅開(kāi)放給校內(nèi)學(xué)生，暫未決定是否公開(kāi)發(fā)布。

講師介紹

課程講師 Chip Huyen 來(lái)自越南，是一位作家和計(jì)算機(jī)科學(xué)家，本科和碩士均就讀于斯坦福大學(xué)計(jì)算機(jī)科學(xué)專(zhuān)業(yè)，此前曾在英偉達(dá)、Netflix 等公司工作。Chip Huyen 開(kāi)設(shè)過(guò)一些受歡迎的課程，比如《TensorFlow for Deep Learning Research》，在 GitHub 平臺(tái)也有很多熱門(mén)項(xiàng)目。

Chip Huyen 主頁(yè)：https://github.com/chiphuyen

此前，Chip Huyen 還撰寫(xiě)過(guò)很多熱門(mén)文章，比如《機(jī)器學(xué)習(xí)系統(tǒng)設(shè)計(jì)指南》、《十大優(yōu)質(zhì)免費(fèi)機(jī)器學(xué)習(xí)課程資源》、《202 個(gè)熱門(mén)機(jī)器學(xué)習(xí)工具評(píng)測(cè)》等教程。

課程大綱

最后我們來(lái)了解一下課程進(jìn)度。根據(jù)現(xiàn)有計(jì)劃，課程大綱如下（具體以實(shí)際授課情況為準(zhǔn)）

第 1 周：機(jī)器學(xué)習(xí)系統(tǒng)設(shè)計(jì)概述

• 何時(shí)使用機(jī)器學(xué)習(xí)

• 研究中的機(jī)器學(xué)習(xí)與生產(chǎn)中的機(jī)器學(xué)習(xí)

• 機(jī)器學(xué)習(xí)系統(tǒng)與傳統(tǒng)軟件

• 機(jī)器學(xué)習(xí)生產(chǎn)中「虛構(gòu)」的那些事兒

• 機(jī)器學(xué)習(xí)應(yīng)用

• Case Study

第 2 周：迭代過(guò)程

• 好的機(jī)器學(xué)習(xí)系統(tǒng)的原理

• 迭代過(guò)程

• 計(jì)劃范圍

第 3 周：數(shù)據(jù)管理

• 現(xiàn)實(shí)世界的數(shù)據(jù)挑戰(zhàn)

• 如何收集、存儲(chǔ)和處理海量數(shù)據(jù)

• 數(shù)據(jù) pipeline 的不同層

• 數(shù)據(jù)處理器 & 顯示器

• 數(shù)據(jù)控制器

• 數(shù)據(jù)存儲(chǔ)

• 數(shù)據(jù)提取：數(shù)據(jù)庫(kù)引擎

第 4 周：創(chuàng)建訓(xùn)練數(shù)據(jù)集

• 特征工程

• 數(shù)據(jù)標(biāo)簽

• 數(shù)據(jù)泄露

• 數(shù)據(jù)分區(qū)、切片和采樣

第 5 周：構(gòu)建和訓(xùn)練機(jī)器學(xué)習(xí)模型

• Baseline

• 模型選擇

• 訓(xùn)練、調(diào)試和實(shí)驗(yàn)跟蹤

• 分布式訓(xùn)練

• 評(píng)估和基準(zhǔn)

• AutoML

第 6 周：部署

• 推理約束

• 模型壓縮與優(yōu)化

• 訓(xùn)練服務(wù)偏差

• 概念漂移

• 服務(wù)器端 ML & 客戶端 ML

• 緩釋策略

• 部署評(píng)估

第 7 周：項(xiàng)目節(jié)點(diǎn)討論

• 道德問(wèn)題

第 8 周：監(jiān)控及維護(hù)

• 監(jiān)控內(nèi)容

• 指標(biāo)、日志記錄、標(biāo)簽、警報(bào)

• 更新和回滾

• 迭代改進(jìn)

第 9 周：硬件和基礎(chǔ)架構(gòu)

• 架構(gòu)選擇

• 硬件設(shè)計(jì)

• 邊緣設(shè)備

• 云私人數(shù)據(jù)中心

• 高性能計(jì)算的未來(lái)

第 10 周：將 ML 整合到業(yè)務(wù)中

• 模型性能與業(yè)務(wù)目標(biāo)與用戶體驗(yàn)

• 團(tuán)隊(duì)架構(gòu)

• 為什么機(jī)器學(xué)習(xí)項(xiàng)目會(huì)失敗

• 最佳實(shí)踐

• 機(jī)器學(xué)習(xí)生產(chǎn)現(xiàn)狀

目前完成授課的部分均已上傳筆記和 PPT 資料，需要的自取：

傳送門(mén)：https://stanford-cs329s.github.io/syllabus.html

“整理不易，點(diǎn)贊三連↓