localGPT 可使用 GPT 模型在本地設(shè)備上進(jìn)行聊天，數(shù)據(jù)在本地運(yùn)行，且 100% 保密。

這個(gè)項(xiàng)目的靈感來(lái)自于最初的privateGPT。

這個(gè)模型用 Vicuna-7B 模型替換了 GPT4ALL 模型，使用 InstructorEmbeddings 而不是原始 privateGPT 中使用的 LlamaEmbeddings。Embeddings 和 LLM 都將在 GPU 而不是 CPU 上運(yùn)行。

如果您沒(méi)有 GPU，也有 CPU 支持（請(qǐng)參閱下面的說(shuō)明）。

使用 LLM 的強(qiáng)大功能，無(wú)需互聯(lián)網(wǎng)連接就可以對(duì)文檔提出問(wèn)題。100% 私有，任何時(shí)候都沒(méi)有數(shù)據(jù)離開(kāi)執(zhí)行環(huán)境。可以在沒(méi)有互聯(lián)網(wǎng)連接的情況下提取文檔和提問(wèn)！

使用 LangChain 和 Vicuna-7B 以及 InstructorEmbeddings 構(gòu)建

環(huán)境設(shè)置

為了設(shè)置您的環(huán)境以在此處運(yùn)行代碼，首先安裝所有要求：

pip install -r requirements.txt

攝取自己的數(shù)據(jù)集

將所有 .txt、.pdf 或 .csv 文件放入 load_documents() 函數(shù)中的 SOURCE_DOCUMENTS 目錄，將 docs_path 替換為 source_documents 目錄的絕對(duì)路徑。

當(dāng)前默認(rèn)文件類型為 .txt、.pdf、.csv 和 .xlsx，如果您想使用任何其他文件類型，您需要將其轉(zhuǎn)換為默認(rèn)文件類型之一。

運(yùn)行以下命令以攝取所有數(shù)據(jù)。

python ingest.py

它將創(chuàng)建一個(gè)包含本地 vectorstore 的索引。需要時(shí)間，具體取決于文檔的大小。您可以攝取任意數(shù)量的文檔，所有文檔都將累積在本地嵌入數(shù)據(jù)庫(kù)中。如果要從空數(shù)據(jù)庫(kù)開(kāi)始，請(qǐng)刪除index.

注意：當(dāng)您第一次運(yùn)行它時(shí)，下載需要時(shí)間，因?yàn)樗仨毾螺d嵌入模型。在后續(xù)運(yùn)行中，沒(méi)有數(shù)據(jù)會(huì)離開(kāi)本地環(huán)境，并且可以在沒(méi)有互聯(lián)網(wǎng)連接的情況下運(yùn)行。

在本地對(duì)您的文件提出問(wèn)題！

要提出問(wèn)題，請(qǐng)運(yùn)行如下命令：

python run_localGPT.py

并等待腳本要求您輸入。

> Enter a query:

點(diǎn)擊進(jìn)入。等待 LLM 模型使用提示并準(zhǔn)備答案。完成后，它將打印答案和用作文檔上下文的 4 個(gè)來(lái)源；然后您可以問(wèn)另一個(gè)問(wèn)題而無(wú)需重新運(yùn)行腳本，只需再次等待提示即可。

注意：第一次運(yùn)行時(shí)，需要連接互聯(lián)網(wǎng)才能下載 vicuna-7B 模型。之后您可以關(guān)閉互聯(lián)網(wǎng)連接，腳本推理仍然有效。沒(méi)有數(shù)據(jù)會(huì)從您的本地環(huán)境中泄露出來(lái)。

鍵入exit以完成腳本。