DayNightStudy

論文閱讀 | Scaling Laws for Transfer作者：張義策文章地址：https://zhuanlan.zhihu.com/p/710594520An Empirical Study of Scaling Laws for Transfer論文地址：https://arxiv.org

大模型 RAG 實戰(zhàn)教程 之 RAG潘多拉寶盒https://github.com/km1994/AwesomeRAG一、LLMs 已經(jīng)具備了較強能力了，為什么還需要 RAG(檢索增強生成)?盡管 LLM 已展現(xiàn)出顯著的能力，但以下幾個挑戰(zhàn)依然值得關(guān)注：幻覺問題：LLM 采用基于統(tǒng)計的概率方法逐詞生

《AIGC面試寶典》歡迎你的加入《AIGC面試寶典》星球主要是作者的一些學(xué)習(xí)成果和資料分享。今年十月 AIGC面經(jīng) （準(zhǔn)備發(fā)稿）八-九月 AiGC 實踐教程 —AiGC摩天大樓（爭取把所有AiGC任務(wù)都刷一遍）七月 大模型推理加速教程六月 Agent實戰(zhàn)教程— Agent千機變六月 大模型訓(xùn)練系列五

規(guī)劃一系列行動以實現(xiàn)期望狀態(tài)的能力，長期以來被認(rèn)為是智能體的核心能力，并且自AI研究誕生以來一直是其不可分割的一部分。隨著大型語言模型（LLMs）的出現(xiàn)，人們對于它們是否擁有此類規(guī)劃能力產(chǎn)生了相當(dāng)大的興趣。PlanBench是我們在2022年開發(fā)的一款可擴展基準(zhǔn)測試工具，自GPT3發(fā)布后不久首次亮相

NO.1國產(chǎn)AI模型登頂全球TOP 1！智源BGE下載破億成Hugging Face月榜冠軍近日，Hugging Face更新了月度榜單，智源研究院的 BGE 模型登頂榜首，這是中國國產(chǎn)AI模型首次成為Hugging Face月榜冠軍。BGE 在短短一年時間內(nèi)，總下載量

!! 介紹：本項目是作者們根據(jù)個人面試和經(jīng)驗總結(jié)出的 大模型(LLMs)面試準(zhǔn)備的學(xué)習(xí)筆記與資料，該資料目前包含 大模型(LLMs)各領(lǐng)域的 面試題積累。Github 地址：https://github.com/km1994/LLMs_interview_notes!! NLP 面無不過 面試交流群

一、DPO在做一件什么事在文章的開始，我們來思考一個問題：如果想讓你訓(xùn)練一個能聽得懂人類問題，并給出人類滿意答案的模型，你會怎么設(shè)計大致的訓(xùn)練步驟？一口吃成一個大胖子是困難的，所以不如讓我們循序漸進地來設(shè)計這個訓(xùn)練過程：首先，你的模型必須要有充足的知識儲備，以應(yīng)對你可能提出的任何問題其次，你的模型需

筆記整理：李冰慧，天津大學(xué)碩士，研究方向為大語言模型論文鏈接：https://aclanthology.org/2024.acl-long.579/發(fā)表會議：ACL20241. 動機使用大型語言模型（LLMs）的多模態(tài)推理經(jīng)常會出現(xiàn)幻覺，并且在LLMs中存在缺乏或過時的知識。一些方法試圖通過使用文本

【LLMs九層妖塔】分享 LLMs在自然語言處理（ChatGLM、Chinese-LLaMA-Alpaca、小羊駝 Vicuna、LLaMA、GPT4ALL等）、信息檢索（langchain）、語言合成、語言識別、多模態(tài)等領(lǐng)域（Stable Diffusion、MiniGPT-4、VisualGLM

!! 介紹：本項目是作者們根據(jù)個人面試和經(jīng)驗總結(jié)出的 大模型(LLMs)面試準(zhǔn)備的學(xué)習(xí)筆記與資料，該資料目前包含 大模型(LLMs)各領(lǐng)域的 面試題積累。Github 地址：https://github.com/km1994/LLMs_interview_notes!! NLP 面無不過 面試交流群

介紹：本項目是作者們根據(jù)個人面試和經(jīng)驗總結(jié)出的自然語言處理(NLP)面試準(zhǔn)備的學(xué)習(xí)筆記與資料，該資料目前包含 自然語言處理各領(lǐng)域的 面試題積累。Github 地址：https://github.com/km1994/NLP-Interview-NotesNLP 面無不過 面試交流群 (注：人滿 可

NLP菜鳥逆襲記：地址：Github地址：https://github.com/km1994/AwesomeNLPdGitee 地址：https://gitee.com/km601/AwesomeNLP_gitee x介紹：【NLP菜鳥逆襲】分享 自然語言處理（文本分類、信息抽取、知識圖譜

大模型 RAG 實戰(zhàn)教程 之 RAG潘多拉寶盒https://github.com/km1994/AwesomeRAG一、LLMs 已經(jīng)具備了較強能力了，為什么還需要 RAG(檢索增強生成)?盡管 LLM 已展現(xiàn)出顯著的能力，但以下幾個挑戰(zhàn)依然值得關(guān)注：幻覺問題：LLM 采用基于統(tǒng)計的概率方法逐詞生

知識星球服務(wù)1. 知識星球?qū)W習(xí)指南服務(wù)：如果你在知識星球遇到什么問題，可以群里面反饋，小弟看到后會及時回答；2. 內(nèi)容答疑：如果在學(xué)習(xí)過程中遇到問題，可以在群里面提出了，小弟看到后會及時回答；3. 就業(yè)指導(dǎo)：如果還再找工作，可以幫忙提供就業(yè)指導(dǎo) 和 簡歷修改和建議 等；知識星球干貨

LLM訓(xùn)練-pretrain作者：ybq原文地址：https://zhuanlan.zhihu.com/p/718354385這篇文章介紹下如何從零到一進行 pretrain 工作。類似的文章應(yīng)該有很多，不同的地方可能在于，我并不會去分析 pretrain 階段的核心技術(shù)，而是用比較樸素的語言來描述

!! 介紹：本項目是作者們根據(jù)個人面試和經(jīng)驗總結(jié)出的 大模型(LLMs)面試準(zhǔn)備的學(xué)習(xí)筆記與資料，該資料目前包含 大模型(LLMs)各領(lǐng)域的 面試題積累。Github 地址：https://github.com/km1994/LLMs_interview_notes!! NLP 面無不過 面試交流群

介紹：本項目是作者們根據(jù)個人面試和經(jīng)驗總結(jié)出的自然語言處理(NLP)面試準(zhǔn)備的學(xué)習(xí)筆記與資料，該資料目前包含 自然語言處理各領(lǐng)域的 面試題積累。Github 地址：https://github.com/km1994/NLP-Interview-NotesNLP 面無不過 面試交流群 (注：人滿 可

知識星球服務(wù)1. 知識星球?qū)W習(xí)指南服務(wù)：如果你在知識星球遇到什么問題，可以群里面反饋，小弟看到后會及時回答；2. 內(nèi)容答疑：如果在學(xué)習(xí)過程中遇到問題，可以在群里面提出了，小弟看到后會及時回答；3. 就業(yè)指導(dǎo)：如果還再找工作，可以幫忙提供就業(yè)指導(dǎo) 和 簡歷修改和建議 等；知識星球干貨

大模型 RAG 實戰(zhàn)教程 之 RAG潘多拉寶盒https://github.com/km1994/AwesomeRAG一、LLMs 已經(jīng)具備了較強能力了，為什么還需要 RAG(檢索增強生成)?盡管 LLM 已展現(xiàn)出顯著的能力，但以下幾個挑戰(zhàn)依然值得關(guān)注：幻覺問題：LLM 采用基于統(tǒng)計的概率方法逐詞生

微調(diào)大模型前，如何重寫SFT數(shù)據(jù)？作者：張義策文章地址：https://zhuanlan.zhihu.com/p/710594520Self-Distillation Bridges Distribution Gap in Language Model Fine-Tuning論文地址：https:/

NLP菜鳥逆襲記：地址：Github地址：https://github.com/km1994/AwesomeNLPdGitee 地址：https://gitee.com/km601/AwesomeNLP_gitee x介紹：【NLP菜鳥逆襲】分享 自然語言處理（文本分類、信息抽取、知識圖譜

【LLMs九層妖塔】分享 LLMs在自然語言處理（ChatGLM、Chinese-LLaMA-Alpaca、小羊駝 Vicuna、LLaMA、GPT4ALL等）、信息檢索（langchain）、語言合成、語言識別、多模態(tài)等領(lǐng)域（Stable Diffusion、MiniGPT-4、VisualGLM

!! 介紹：本項目是作者們根據(jù)個人面試和經(jīng)驗總結(jié)出的 大模型(LLMs)面試準(zhǔn)備的學(xué)習(xí)筆記與資料，該資料目前包含 大模型(LLMs)各領(lǐng)域的 面試題積累。Github 地址：https://github.com/km1994/LLMs_interview_notes!! NLP 面無不過 面試交流群

【LLMs九層妖塔】分享 LLMs在自然語言處理（ChatGLM、Chinese-LLaMA-Alpaca、小羊駝 Vicuna、LLaMA、GPT4ALL等）、信息檢索（langchain）、語言合成、語言識別、多模態(tài)等領(lǐng)域（Stable Diffusion、MiniGPT-4、VisualGLM

大模型 RAG 實戰(zhàn)教程 之 RAG潘多拉寶盒https://github.com/km1994/AwesomeRAG一、LLMs 已經(jīng)具備了較強能力了，為什么還需要 RAG(檢索增強生成)?盡管 LLM 已展現(xiàn)出顯著的能力，但以下幾個挑戰(zhàn)依然值得關(guān)注：幻覺問題：LLM 采用基于統(tǒng)計的概率方法逐詞生

介紹：本項目是作者們根據(jù)個人面試和經(jīng)驗總結(jié)出的自然語言處理(NLP)面試準(zhǔn)備的學(xué)習(xí)筆記與資料，該資料目前包含 自然語言處理各領(lǐng)域的 面試題積累。Github 地址：https://github.com/km1994/NLP-Interview-NotesNLP 面無不過 面試交流群 (注：人滿 可

NLP菜鳥逆襲記：地址：Github地址：https://github.com/km1994/AwesomeNLPdGitee 地址：https://gitee.com/km601/AwesomeNLP_gitee x介紹：【NLP菜鳥逆襲】分享 自然語言處理（文本分類、信息抽取、知識圖譜

知識星球服務(wù)1. 知識星球?qū)W習(xí)指南服務(wù)：如果你在知識星球遇到什么問題，可以群里面反饋，小弟看到后會及時回答；2. 內(nèi)容答疑：如果在學(xué)習(xí)過程中遇到問題，可以在群里面提出了，小弟看到后會及時回答；3. 就業(yè)指導(dǎo)：如果還再找工作，可以幫忙提供就業(yè)指導(dǎo) 和 簡歷修改和建議 等；知識星球干貨

NLP菜鳥逆襲記：地址：Github地址：https://github.com/km1994/AwesomeNLPdGitee 地址：https://gitee.com/km601/AwesomeNLP_gitee x介紹：【NLP菜鳥逆襲】分享 自然語言處理（文本分類、信息抽取、知識圖譜

【LLMs九層妖塔】分享 LLMs在自然語言處理（ChatGLM、Chinese-LLaMA-Alpaca、小羊駝 Vicuna、LLaMA、GPT4ALL等）、信息檢索（langchain）、語言合成、語言識別、多模態(tài)等領(lǐng)域（Stable Diffusion、MiniGPT-4、VisualGLM