| 失效鏈接處理 |
|
大模型 RAG 經(jīng)驗面 PDF 下載
轉(zhuǎn)載自：http://www.python222.com/article/1268
相關(guān)截圖：
 主要內(nèi)容：
一、LLMs 已經(jīng)具備了較強能力了，存在哪些不足點?
在 LLM 已經(jīng)具備了較強能力的基礎(chǔ)上，仍然存在以下問題：
• 幻覺問題：LLM 文本生成的底層原理是基于概率的 token by token 的形式，因此會不可避免地
產(chǎn)生“一本正經(jīng)的胡說八道”的情況；
• 時效性問題：LLM 的規(guī)模越大，大模型訓(xùn)練的成本越高，周期也就越長。那么具有時效性的數(shù)
據(jù)也就無法參與訓(xùn)練，所以也就無法直接回答時效性相關(guān)的問題，例如“幫我推薦幾部熱映的電
影？”；
• 數(shù)據(jù)安全問題：通用的 LLM 沒有企業(yè)內(nèi)部數(shù)據(jù)和用戶數(shù)據(jù)，那么企業(yè)想要在保證安全的前提下
使用 LLM，最好的方式就是把數(shù)據(jù)全部放在本地，企業(yè)數(shù)據(jù)的業(yè)務(wù)計算全部在本地完成。而在
線的大模型僅僅完成一個歸納的功能
二、什么是 RAG?
RAG（Retrieval Augmented Generation, 檢索增強生成），即 LLM 在回答問題或生成文本時，先
會從大量文檔中檢索出相關(guān)的信息，然后基于這些信息生成回答或文本，從而提高預(yù)測質(zhì)量。
2.1 R：檢索器模塊
在 RAG技術(shù)中，“R”代表檢索，其作用是從大量知識庫中檢索出最相關(guān)的前 k 個文檔。然而，構(gòu)建
一個高質(zhì)量的檢索器是一項挑戰(zhàn)。研究探討了三個關(guān)鍵問題：
2.1.1 如何獲得準確的語義表示？
在 RAG 中，語義空間指的是查詢和文檔被映射的多維空間。以下是兩種構(gòu)建準確語義空間的方
法。
1. 塊優(yōu)化
處理外部文檔的第一步是分塊，以獲得更細致的特征。接著，這些文檔塊被嵌入。
選擇分塊策略時，需要考慮被索引內(nèi)容的特點、使用的嵌入模型及其最適塊大小、用戶查詢的預(yù)期
長度和復(fù)雜度、以及檢索結(jié)果在特定應(yīng)用中的使用方式。實際上，準確的查詢結(jié)果是通過靈活應(yīng)用
多種分塊策略來實現(xiàn)的，并沒有最佳策略，只有最適合的策略。
1. 微調(diào)嵌入模型
在確定了 Chunk 的適當(dāng)大小之后，我們需要通過一個嵌入模型將 Chunk 和查詢嵌入到語義空間
中。如今，一些出色的嵌入模型已經(jīng)問世，例如 UAE、Voyage、BGE等，它們在大規(guī)模語料庫上
預(yù)訓(xùn)練過
|
| Java1234官方群25： | 
|
| Java1234官方群25： | 838462530 |
蘇公網(wǎng)安備 32061202001004號
