【回顧】AI 生產(chǎn)可用的高性能對(duì)象存儲(chǔ)服務(wù)
共 1707字,需瀏覽 4分鐘
·
2024-12-04 19:30
大家好,又見(jiàn)面了,我是 GitHub 精選君!
背景介紹
在當(dāng)今數(shù)字化時(shí)代,數(shù)據(jù)成為了企業(yè)和個(gè)人最寶貴的資產(chǎn)之一。從圖片和視頻到機(jī)器學(xué)習(xí)模型、應(yīng)用程序數(shù)據(jù),我們每天都在創(chuàng)造和消費(fèi)大量的數(shù)據(jù)。然而,隨之而來(lái)的是對(duì)高效、可靠的數(shù)據(jù)存儲(chǔ)方案的巨大需求,特別是在人工智能(AI)和大數(shù)據(jù)分析等領(lǐng)域。例如,機(jī)器學(xué)習(xí)項(xiàng)目需要存取大量的訓(xùn)練數(shù)據(jù),企業(yè)需要儲(chǔ)存海量的用戶數(shù)據(jù)并保證數(shù)據(jù)的安全、高效訪問(wèn)。傳統(tǒng)存儲(chǔ)方案往往難以應(yīng)對(duì)這種規(guī)模的數(shù)據(jù)處理需求,尤其是在性能、擴(kuò)展性和兼容性方面。因此,開(kāi)發(fā)者和企業(yè)都在尋求更加靈活、高效且成本效益高的解決方案。
今天要給大家推薦一個(gè) GitHub 開(kāi)源項(xiàng)目 minio,該項(xiàng)目在 GitHub 有超過(guò) 45.1k Star。
一句話介紹該項(xiàng)目:The Object Store for AI Data Infrastructure
項(xiàng)目介紹
MinIO 是一個(gè)高性能的對(duì)象存儲(chǔ)服務(wù),遵循 GNU Affero General Public License v3.0 發(fā)布。它與 Amazon S3 云存儲(chǔ)服務(wù)兼容,致力于為機(jī)器學(xué)習(xí)、分析和應(yīng)用數(shù)據(jù)工作負(fù)載構(gòu)建高性能基礎(chǔ)設(shè)施。MinIO 可以部署在裸金屬硬件上,包括容器化安裝,對(duì)于 Kubernetes 環(huán)境,則推薦使用 MinIO Kubernetes Operator 。MinIO 支持分布式部署、糾刪碼存儲(chǔ)以及多種企業(yè)級(jí)功能如版本控制、對(duì)象鎖定和桶復(fù)制。
如何使用
1、容器安裝:
使用以下命令啟動(dòng)最新穩(wěn)定版本的 MinIO:
podman run -p 9000:9000 -p 9001:9001 \
quay.io/minio/minio server /data --console-address ":9001"
MinIO 默認(rèn)使用 minioadmin:minioadmin 作為根憑證,用戶可以通過(guò)瀏覽器訪問(wèn) MinIO 控制臺(tái)來(lái)測(cè)試部署,進(jìn)行創(chuàng)建桶、上傳對(duì)象等操作。
2、macOS 上的安裝推薦使用 Homebrew:
brew install minio/stable/minio
minio server /data
3、在 GNU/Linux 上安裝(以 64 位 Intel/AMD 架構(gòu)為例):
wget https://dl.min.io/server/minio/release/linux-amd64/minio
chmod +x minio
./minio server /data
以下是一些 UI 使用界面示例:
項(xiàng)目推介
MinIO 以其高性能、高可靠性和強(qiáng)大的兼容性成為了大數(shù)據(jù)和 AI 數(shù)據(jù)基礎(chǔ)設(shè)施的理想選擇。它不僅適合于早期開(kāi)發(fā)和評(píng)估,更適用于擴(kuò)展的開(kāi)發(fā)和生產(chǎn)環(huán)境。MinIO 以開(kāi)源的方式發(fā)布,擁有活躍的開(kāi)發(fā)社區(qū)和豐富的文檔支持,被全球眾多企業(yè)和開(kāi)發(fā)者廣泛使用。
以下是該項(xiàng)目 Star 趨勢(shì)圖(代表項(xiàng)目的活躍程度):
更多項(xiàng)目詳情請(qǐng)查看如下鏈接。
開(kāi)源項(xiàng)目地址:https://github.com/minio/minio
開(kāi)源項(xiàng)目作者:minio
關(guān)注我們,一起探索有意思的開(kāi)源項(xiàng)目。
點(diǎn)擊如下卡片后臺(tái)回復(fù):加群,與技術(shù)極客們一起交流人工智能、開(kāi)源項(xiàng)目,一起成長(zhǎng)。如果你正在尋求開(kāi)源項(xiàng)目推廣、DevOps、AIGC 大模型、軟件開(kāi)發(fā)等領(lǐng)域的付費(fèi)服務(wù),可參考推文了解詳情。
讀者專屬插件:github.com/ZhuPeng/github_linker
