TensorFlow Lite谷歌移動端深度學習框架

TensorFlow Lite 是一款 TensorFlow 用于移動設備和嵌入式設備的輕量級解決方案。

TensorFlow 可以在多個平臺上運行，從機架式服務器到小型 IoT 設備。但是隨著近年來機器學習模型的廣泛使用，出現(xiàn)了在移動和嵌入式設備上部署它們的需求。而 TensorFlow Lite 允許設備端的機器學習模型的低延遲推斷。

設計初衷

• 輕量級：允許小 binary size 和快速初始化／啟動的設備端機器學習模型進行推斷。

• 跨平臺：運行時的設計使其可以在不同的平臺上運行，最先允許的平臺是安卓和 iOS。

• 快速：專為移動設備進行優(yōu)化，包括大幅提升模型加載時間，支持硬件加速。

現(xiàn)在，越來越多移動設備內置了專門的自定義硬件以高效處理機器學習工作負載。TensorFlow Lite 支持安卓神經網絡 API，以充分利用新的可用加速器。

當加速器硬件不可用時，TensorFlow Lite 返回至經優(yōu)化的 CPU 執(zhí)行操作，確保模型仍然可在大量設備上快速運行。

架構

下圖展示了 TensorFlow Lite 的架構設計：

組件包括

• TensorFlow 模型（TensorFlow Model）：訓練后的 TensorFlow 模型，保存在磁盤中。

• TensorFlow Lite 轉換器（TensorFlow Lite Converter）：該程序將模型轉換成 TensorFlow Lite 文件格式。

• TensorFlow Lite 模型文件（TensorFlow Lite Model File）：該格式基于 FlatBuffers，經過優(yōu)化以適應最大速度和最小規(guī)模。

然后將 TensorFlow Lite 模型文件部署到移動 App 中：

• Java API：安卓設備上適用于 C++ API 的便利封裝。

• C++ API：加載 TensorFlow Lite 模型文件，啟動編譯器。安卓和 iOS 設備上均有同樣的庫。

• 編譯器（Interpreter）：使用運算符執(zhí)行模型。解釋器支持選擇性加載運算符；沒有運算符時，編譯器只有 70KB，加載所有運算符后，編譯器為 300KB。這比 TensorFlow Mobile（具備一整套運算符）的 1.5M 要小得多。

• 在選擇的安卓設備上，編譯器將使用安卓神經網絡 API 進行硬件加速，或者在無可用 API 的情況下默認執(zhí)行 CPU。

開發(fā)者還使用 C++ API 實現(xiàn)自定義 kernel，它可被解釋器使用。

模型

TensorFlow Lite 已經支持多個面向移動端訓練和優(yōu)化的模型：

• MobileNet：一種能夠識別超過 1000 種不同物體的視覺模型，專為移動端和嵌入式設備設計；

• Inception V3：一種圖像識別模型，功能上類似于 MobileNet，但能提供更高的準確率（當然模型也更大）；

• Smart Reply：一種設備端對話模型，能對接收到的會話聊天信息提供觸發(fā)性應答。第一方和第三方通信 App 可在 Android Wear 上使用該特性。

Inception v3 和 MobileNet 都在 ImageNet 數(shù)據(jù)集上訓練過，你可以通過遷移學習輕松地在自己的圖像數(shù)據(jù)集上重新訓練這些模型。