微軟開源的數(shù)據(jù)分析任務(wù)處理系統(tǒng)
大家好，又見面了，我是 GitHub 精選君！
背景介紹
在數(shù)據(jù)分析領(lǐng)域，我們經(jīng)常會遇到需要將多種數(shù)據(jù)分析任務(wù)無縫地計(jì)劃和執(zhí)行的挑戰(zhàn)。這些任務(wù)可能涉及諸如查看和解析數(shù)據(jù)、運(yùn)行算法、生成報(bào)告等復(fù)雜過程。由于這些任務(wù)經(jīng)常需要從多個源獲取和處理數(shù)據(jù)，如數(shù)據(jù)庫、網(wǎng)頁以及 API，因此我們需要一個既可高效協(xié)調(diào)任務(wù)，又可方便地整合各類功能的解決方案。此外，為了提高代碼質(zhì)量，我們也需要一個可以檢查輸出代碼并提供修復(fù)建議的工具。
今天要給大家推薦一個 GitHub 開源項(xiàng)目 microsoft/TaskWeaver，該項(xiàng)目在 GitHub 有超過 3.2k Star，用一句話介紹該項(xiàng)目就是：A code-first agent framework for seamlessly planning and executing data analytics tasks.
項(xiàng)目介紹
TaskWeaver 是一個依托于代碼的代理框架，專門為無縫規(guī)劃和執(zhí)行數(shù)據(jù)分析任務(wù)而設(shè)計(jì)。本框架顛覆創(chuàng)新地運(yùn)用了代碼片段理解用戶請求，并能有效地協(xié)同形如函數(shù)的各類插件，以有狀態(tài)的方式完成數(shù)據(jù)分析任務(wù)。TaskWeaver 的亮點(diǎn)包括豐富的數(shù)據(jù)結(jié)構(gòu)支持、自定義算法支持、專業(yè)知識引入、有狀態(tài)的執(zhí)行、代碼驗(yàn)證、易用性、易調(diào)試、安全問題考慮以及易擴(kuò)展性等特點(diǎn)。
以下是系統(tǒng)的處理流程圖：
如何使用
TaskWeaver 的安裝需要 Python 3.10 以上版本。運(yùn)行以下命令克隆代碼倉庫并安裝所需組件：
git clone https://github.com/microsoft/TaskWeaver.git
cd TaskWeaver
pip install -r requirements.txt然后，修改配置文件 taskweaver_config.json，以確定使用的 LLM（內(nèi)置的語言模型），例如 OpenAI。
在配置完成后，運(yùn)行以下命令開始 TaskWeaver：
python -m taskweaver -p ./project/除了命令行操作外，TaskWeaver 還支持通過 WebUI 操作,也可以作為一個庫導(dǎo)入到你的現(xiàn)有項(xiàng)目中。
項(xiàng)目推介
TaskWeaver 是微軟的開源項(xiàng)目，持續(xù)更新且活躍度高，還有不斷添加的新功能，如視覺網(wǎng)絡(luò)探索器插件，流媒體支持以及加入了各種 LLM ，如 LiteLLM、Ollama、Gemini、和 QWen 等。
以下是該項(xiàng)目 Star 趨勢圖（代表項(xiàng)目的活躍程度）：
更多項(xiàng)目詳情請查看如下鏈接。
開源項(xiàng)目地址：https://github.com/microsoft/TaskWeaver
開源項(xiàng)目作者：microsoft
開源協(xié)議：MIT License
關(guān)注我們，一起探索有意思的開源項(xiàng)目。
點(diǎn)擊如下卡片后臺回復(fù)：加群，與技術(shù)極客們一起交流人工智能、開源項(xiàng)目，一起成長。如果你正在尋求開源項(xiàng)目推廣、DevOps、AIGC 大模型、軟件開發(fā)等領(lǐng)域的付費(fèi)服務(wù)，可參考推文了解詳情。