近日，啟明創(chuàng)投投資企業(yè)、認(rèn)知智能領(lǐng)跑者智譜AI開源了GLM系列模型的新成員——中英雙語對(duì)話模型ChatGLM-6B，支持在單張消費(fèi)級(jí)顯卡上進(jìn)行推理使用。這是繼此前開源GLM-130B千億基座模型之后，智譜AI再次推出大模型方向的研究成果。與此同時(shí)，基于千億基座模型的ChatGLM也同期推出，初具問答和對(duì)話功能，現(xiàn)已開啟邀請(qǐng)制內(nèi)測(cè)（內(nèi)測(cè)申請(qǐng)網(wǎng)址：chatglm.cn），后續(xù)還會(huì)逐步擴(kuò)大內(nèi)測(cè)范圍。

ChatGLM-6B是一個(gè)開源的、支持中英雙語問答的對(duì)話語言模型，并針對(duì)中文進(jìn)行了優(yōu)化。該模型基于General Language Model（GLM）架構(gòu)，具有62億參數(shù)。結(jié)合模型量化技術(shù)，用戶可以在消費(fèi)級(jí)的顯卡上進(jìn)行本地部署（INT4量化級(jí)別下最低只需6GB顯存）。

ChatGLM-6B使用了和ChatGLM相同的技術(shù)，針對(duì)中文問答和對(duì)話進(jìn)行了優(yōu)化。經(jīng)過約1T標(biāo)識(shí)符的中英雙語訓(xùn)練，輔以監(jiān)督微調(diào)、反饋?zhàn)灾⑷祟惙答亸?qiáng)化學(xué)習(xí)等技術(shù)的加持，62億參數(shù)的ChatGLM-6B雖然規(guī)模不及千億模型，但大大降低了推理成本，提升了效率，并且已經(jīng)能生成相當(dāng)符合人類偏好的回答。

具體來說，ChatGLM-6B具備以下特點(diǎn)：

• 充分的中英雙語預(yù)訓(xùn)練：ChatGLM-6B在1:1比例的中英語料上訓(xùn)練了1T的token量，兼具雙語能力。

• 優(yōu)化的模型架構(gòu)和大?。?/strong>吸取GLM-130B訓(xùn)練經(jīng)驗(yàn)，修正了二維RoPE位置編碼實(shí)現(xiàn)，使用傳統(tǒng)FFN結(jié)構(gòu)。6B（62億）的參數(shù)大小，也使得研究者和個(gè)人開發(fā)者自己微調(diào)和部署ChatGLM-6B成為可能。

• 較低的部署門檻：FP16半精度下，ChatGLM-6B需要至少13GB的顯存進(jìn)行推理，結(jié)合模型量化技術(shù)，這一需求可以進(jìn)一步降低到10GB（INT8）和6GB（INT4），使得ChatGLM-6B可以部署在消費(fèi)級(jí)顯卡上。

• 更長(zhǎng)的序列長(zhǎng)度：相比GLM-10B（序列長(zhǎng)度1024），ChatGLM-6B序列長(zhǎng)度達(dá)2048，支持更長(zhǎng)對(duì)話和應(yīng)用。

• 人類意圖對(duì)齊訓(xùn)練：使用了監(jiān)督微調(diào)（Supervised Fine-Tuning）、反饋?zhàn)灾‵eedback Bootstrap）、人類反饋強(qiáng)化學(xué)習(xí)（Reinforcement Learning from Human Feedback）等方式，使模型初具理解人類指令意圖的能力。輸出格式為markdown，方便展示。