1.1什么是?LLM
An LLM是一種大型語(yǔ)言模型，是一種神經(jīng)網(wǎng)絡(luò)，旨在理解、生成和響應(yīng)類(lèi)似人類(lèi)的文本。這些模型是在大量文本數(shù)據(jù)上訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)，有時(shí)包含互聯(lián)網(wǎng)上整個(gè)公開(kāi)文本的大部分。
大型語(yǔ)言模型中的“大”既指模型的參數(shù)大小，也指訓(xùn)練模型所依據(jù)的龐大數(shù)據(jù)集。像這樣的模型通常有數(shù)百億甚至數(shù)千億個(gè)參數(shù)，這些參數(shù)是網(wǎng)絡(luò)中可調(diào)整的權(quán)重，在訓(xùn)練期間進(jìn)行優(yōu)化，以預(yù)測(cè)序列中的下一個(gè)單詞。下一個(gè)單詞預(yù)測(cè)是明智的,因?yàn)樗谜Z(yǔ)言固有的順序性質(zhì)來(lái)訓(xùn)練模型