Lore機(jī)器學(xué)習(xí)模型配置、部署簡化框架
Lore 是一個 Python 框架，旨在讓工程師更容易接受機(jī)器學(xué)習(xí)，讓數(shù)據(jù)科學(xué)家更容易維護(hù)機(jī)器學(xué)習(xí)。
功能特性
-
模型支持使用數(shù)據(jù)管道對估算器進(jìn)行超參數(shù)搜索。他們將有效地利用多個 GPU（如果可用）和幾種不同的策略，并且因水平可伸縮性可以保存和分發(fā)。
-
支持來自多個軟件包的估算器，包括 Keras、XGBoost 和 SciKit Learn。它們都可以通過構(gòu)建、調(diào)試或預(yù)測覆蓋來進(jìn)行分類，以完全自定義你的算法和架構(gòu)，同時還可以從其他很多方面受益。
-
管道可以避免訓(xùn)練和測試之間的信息泄漏，一條管道可以用許多不同的估算器進(jìn)行實(shí)驗(yàn)。如果機(jī)器可用 RAM 空間不夠，則可使用基于磁盤的管道。
-
轉(zhuǎn)化器標(biāo)準(zhǔn)化高級功能編程。例如，根據(jù)美國人口普查數(shù)據(jù)將美國名字轉(zhuǎn)換為其統(tǒng)計(jì)年齡或性別；從自由格式的電話號碼字符串中提取地理區(qū)號；常見的日期、時間和字符串操作可通過 pandas 得到有效支持。
-
編碼器為估算器提供足夠的輸入，并避免常見的缺失和長尾值問題。經(jīng)過充分測試，它們可以幫助你避免從垃圾中檢索信息。
-
對于流行的 (No)SQL 數(shù)據(jù)庫，整個應(yīng)用程序以標(biāo)準(zhǔn)化的方式配置 IO 連接，對批量數(shù)據(jù)進(jìn)行事務(wù)管理和讀寫優(yōu)化，而不是使用典型的 ORM 操作。除了用于分發(fā)模型和數(shù)據(jù)集的加密 S3 buckets 之外，連接還共享一個可配置的查詢緩存。
-
對開發(fā)中的每個應(yīng)用程序進(jìn)行依賴關(guān)系管理，且可 100％復(fù)制到生產(chǎn)環(huán)境中。無需手動激活，沒有破壞 Python 的環(huán)境變量或隱藏的文件。無需 venv、pyenv、pyvenv、virtualenv、virtualenvwrapper、pipenv、conda 相關(guān)知識。
-
模型測試可在自己的持續(xù)集成環(huán)境中進(jìn)行，允許代碼和訓(xùn)練更新持續(xù)部署，而不增加基礎(chǔ)架構(gòu)團(tuán)隊(duì)的工作量。
-
命令行、Python 控制臺、jupyter 筆記本或 IDE 都有工作流支持。每個環(huán)境都可以為生產(chǎn)和開發(fā)配置可讀的日志和時序語句。