Ko-LLaMA：基于LLaMA的朝鮮語大語言模型

打開文本圖片集

提 要：在本文中，我們通過擴展LLaMA現(xiàn)有的詞表，增加額外的20，000個朝鮮語Token，從而提高其對朝鮮語的編碼和語義理解的能力；并且進一步使用朝鮮語數(shù)據(jù)進行繼續(xù)預(yù)訓(xùn)練，使用朝鮮語指令微調(diào)數(shù)據(jù)集對模型進行SFT（Supervised Fine-Tuning），并分析不同數(shù)據(jù)量對指令精調(diào)效果的影響，經(jīng)過繼續(xù)預(yù)訓(xùn)練和指令微調(diào)后的模型顯著提高了理解和遵循朝鮮語指令的能力。（剩余15089字）