| 失效鏈接處理 |
|
大語言模型安全與隱私風(fēng)險(xiǎn)綜述 PDF 下載
轉(zhuǎn)載自：http://www.python222.com/article/1280
相關(guān)截圖：
 主要內(nèi)容：
1.1 大語言模型相關(guān)概念術(shù)語
1.1.1 語言模型
P(w1,w2,…,wn |θ) S = w1,w2,…,
wn n θ
S
P(w1,w2,…,wn |θ) = P(w1|θ)P(w2|w1, θ)…P(wn|w1,
w2,…,wn−1 , θ)
{wk ,wk+1,…,wn } {w0 ,w1,…,wk−1 }
wk
深度學(xué)習(xí)領(lǐng)域中的術(shù)語“語言模型”不等同于通
常意義上的“處理自然語言的模型”，而是對(duì)應(yīng)一種
概率模型，通常用于預(yù)測(cè)文本序列的下一個(gè)單詞. 語
言模型可以評(píng)估 ，其中
為 個(gè)單詞組成的文本，即可由參數(shù) 推測(cè)某個(gè)句
子 出現(xiàn)的概率，實(shí)現(xiàn)語言建模. 目前流行的 LLM 通
常以自回歸語言建模為訓(xùn)練任務(wù)，對(duì)整個(gè)句子的出
現(xiàn)的概率可以分解為從左到右每個(gè)單詞出現(xiàn)的概率
的 乘，
， 訓(xùn)練的過程中 ， 掩蓋住訓(xùn)練語句中
，讓模型以文本序列 預(yù)
測(cè) 的分布.
1.1.2 語言預(yù)訓(xùn)練模型與預(yù)訓(xùn)練語言模型
為了將文本中將單詞映射到高維空間中的向量
表示，以便神經(jīng)網(wǎng)絡(luò)模型處理，Mikolov 等人[4] 提出
了 word2vec，系統(tǒng)的介紹了詞嵌入（word embedding）方
法，之后 Pennington 等人[5] 提出 GloVe，同樣致力于通
過淺層神經(jīng)網(wǎng)絡(luò)在通用文本上獲取通用的單詞表征.
這些預(yù)訓(xùn)練模型并不具備預(yù)測(cè)文本的語言建模能力，
也不屬最終任務(wù)模型的一部分，有時(shí)稱為語訓(xùn)練模型.
不同的是，預(yù)訓(xùn)練語言模型不僅能預(yù)測(cè)文本中詞匯
概率，還能生成單詞關(guān)于上下文的向量表征，參數(shù)量
也要高幾個(gè)數(shù)量級(jí)，作為下游任務(wù)一部分參與微調(diào).
1.1.3 大語言模型
相較于傳統(tǒng)在較小標(biāo)注數(shù)據(jù)集上進(jìn)行監(jiān)督訓(xùn)練
的 DNN 模型，GPT 和 BERT 等在無監(jiān)督文本上作自
監(jiān)督訓(xùn)練的預(yù)訓(xùn)練語言模型參數(shù)量達(dá)到了 1 億級(jí)別，
高了若干數(shù)量級(jí)，因此這些模型也被稱為大模型或
大語言模型（LLM）. 隨著 LLM 的發(fā)展，其模型參數(shù)
規(guī)模持續(xù)增長，如 GPT-4 等目前已達(dá)萬億參數(shù)級(jí)別.
雖然 BERT 等早期大模型與之相差甚遠(yuǎn)，但仍應(yīng)被稱
作大語言模型[6] . 為了有所區(qū)別，也有人將百億參數(shù)
級(jí)別之上的大模型稱為大規(guī)模語言模型（large-scale
language model）. 本文中的 PLM 和 LLM 這 2 個(gè)術(shù)語
可以互換.
1.1.4 基礎(chǔ)模型
“基礎(chǔ)模型”由斯坦福大學(xué)的 HAI 中心與 2021
年最早提出，指代具有大規(guī)模參數(shù)的機(jī)器學(xué)習(xí)模型，
不針對(duì)某一特定任務(wù)設(shè)計(jì)，通常在某些模態(tài)下的大
量無標(biāo)注數(shù)據(jù)（如文本）上作自監(jiān)督訓(xùn)練以習(xí)得其分
布特征. 可以作為骨干模型（backbone model），助力各
種下游任務(wù)的解決，一般 PLM 都可稱為基礎(chǔ)模型，
還有不少支持圖像視頻等多模態(tài)的基礎(chǔ)模型存在.
|
| Java1234官方群25： | 
|
| Java1234官方群25： | 838462530 |
蘇公網(wǎng)安備 32061202001004號(hào)
