【回顧】專為企業(yè)級大模型開發(fā)的框架、工具和模型

大家好，又見面了，我是 GitHub 精選君！

背景介紹

在當(dāng)今的企業(yè)環(huán)境下，很多的公司都在落地大模型相關(guān)的應(yīng)用。但是并不是每個公司都具備相應(yīng)的專業(yè)大模型的人才，能夠很好的處理大模型落地過程中碰到的問題。

今天要給大家推薦一個 GitHub 開源項目 llmware-ai/llmware，該項目在 GitHub 有超過 1.6k Star，用一句話介紹該項目就是：“Providing enterprise-grade LLM-based development framework, tools, and fine-tuned models.”。

項目介紹

llmware 是一個專為企業(yè)級 LLM 開發(fā)的框架、工具和模型。該項目在私有云中將企業(yè)知識與 LLM 安全并有效地整合，以便于創(chuàng)建出專業(yè)的、基于知識的企業(yè) LLM 應(yīng)用。主要功能包括：

1、提供高性能的文檔解析器以快速處理多種常用文檔類型；

2、提供完整的直觀的查詢方法，如語義查詢，文本查詢以及混合查詢；

3、支持人類參與評估、反饋和糾正 AI 的響應(yīng)；

4、可靈活地分析和審核 LLM 提示生命周期，等等。

此外，llmware 還提供快速開始使用增強型檢索生成（RAG）的教程和視頻，以便于讓大家探索并掌握這個開源項目。

如何使用

llmware 的安裝和使用十分方便，可以通過 pip 命令進(jìn)行安裝。

pip3 install llmware

對于 MongoDB 和 Milvus 的使用者，llmware 可以直接通過 Docker Compose 文件進(jìn)行安裝，以便于提供生產(chǎn)級的數(shù)據(jù)庫和向量嵌入能力。安裝完成后，只需引入 llmware 庫即可開始編寫代碼。

from llmware.models import ModelCatalog

ModelCatalog().get_llm_toolkit()  # get all SLIM models, delivered as small, fast quantized tools 
ModelCatalog().tool_test_run("slim-sentiment-tool") # see the model in action with test script included  

項目推介

llmware 構(gòu)建的框架由四大主要組件組成，可以滿足全面而多元的業(yè)務(wù)需要。

以下是該項目 Star 趨勢圖（代表項目的活躍程度）：

更多項目詳情請查看如下鏈接。

開源項目地址：https://github.com/llmware-ai/llmware

開源項目作者：llmware-ai

關(guān)注我們，一起探索有意思的開源項目。

點擊如下卡片后臺回復(fù)：加群，與技術(shù)極客們一起交流人工智能、開源項目，一起成長。如果你正在尋求開源項目推廣、DevOps、AIGC 大模型、軟件開發(fā)等領(lǐng)域的付費服務(wù)，可參考推文了解詳情。