Datashim數(shù)據(jù)集處理框架

Datrashim 是一個(gè) Kubernetes 框架，它支持在 pod 中輕松訪問(wèn) S3 和 NFS 數(shù)據(jù)集，以協(xié)調(diào)每個(gè)數(shù)據(jù)集所需的持久卷聲明和 ConfigMap 的配置。

Datashim 框架引入了 Dataset CRD，它是指向現(xiàn)有 S3 和 NFS 數(shù)據(jù)源的指針，包括將這些數(shù)據(jù)集映射到用戶可以在其 pod 中引用的持久卷聲明和 ConfigMap 的必要邏輯，讓他們專注于工作負(fù)載開(kāi)發(fā)，而不是配置/安裝/調(diào)整數(shù)據(jù)訪問(wèn)。

框架以透明和聲明的方式啟用/加速 Kubernetes/Openshift 工作負(fù)載的數(shù)據(jù)訪問(wèn)，為不同的實(shí)體帶來(lái)了好處：

• 數(shù)據(jù)科學(xué)家/工程師：專注于工作負(fù)載/實(shí)驗(yàn)開(kāi)發(fā)，而不是配置/調(diào)整數(shù)據(jù)訪問(wèn)
• 存儲(chǔ)提供商：由于框架可擴(kuò)展而不會(huì)影響用戶體驗(yàn)，因此提高了采用率
• 面向數(shù)據(jù)的框架：可以在 DLF 之上構(gòu)建功能（緩存、調(diào)度），使用聲明性方式訪問(wèn)/管理數(shù)據(jù)源