Sockeye基于 Apache MXNet 的神經(jīng)機器翻譯框架

Sockeye 是一個基于 Apache MXNet 的快速而可擴展的深度學習庫。Sockeye 代碼庫具有來自 MXNet 的獨特優(yōu)勢。例如，通過符號式和命令式 MXNet API，Sockeye 結(jié)合了陳述式和命令式編程風格；它同樣可以在多塊 GPU 上并行訓練模型。

Sockeye：為使用 MXNet 的機器翻譯進行序列到序列建模

Sockeye 實現(xiàn)了 MXNet 上當前最佳的序列到序列模型。它同樣為所有序列到序列模型的超參數(shù)提供恰當?shù)哪J值。對于優(yōu)化，無需擔心停止標準、指標跟蹤或者權(quán)重初始化。可以簡單地運行已提供的訓練命令行界面（CLI）,也可以輕易改變基礎(chǔ)模型架構(gòu)，比如：

• RNN 單元類型（LSTM 或 GRU）和隱藏狀態(tài)大小

• RNN 層的數(shù)量

• 源序列和目標序列嵌入的大小

• 應(yīng)用于源編碼的注意力機制的類型

Sockeye 同樣有其他更高級的功能，比如：

• 束搜索推理

• 多模型的簡單集成

• RNN 層之間的殘差鏈接

• 輸出層預測的詞匯偏倚

• 門控語境（Context gating）

• 交叉熵標簽平滑

• 層歸一化

為了訓練，Sockeye 允許使用者完全掌控重要的優(yōu)化參數(shù)。例如，使用者可以設(shè)置優(yōu)化器類型、學習率、動量、權(quán)重衰減和提前停止條件。Sockeye 跟蹤了訓練和驗證數(shù)據(jù)上的多個指標（包括專門針對機器翻譯的指標，比如 BLEU）。