以下文章來源于智能涌現(xiàn) ，作者周鑫雨
編者按：日前，啟明創(chuàng)投投資企業(yè)智譜AI正式上線首款生成式AI助手——智譜清言。該助手基于智譜AI自主研發(fā)的中英雙語對話模型ChatGLM2，經(jīng)過萬億字符的文本與代碼預(yù)訓(xùn)練，并采用監(jiān)督微調(diào)技術(shù)，以通用對話的形式為用戶提供智能化服務(wù)。同時，智譜AI等8家企業(yè)/機構(gòu)的大模型通過了《生成式人工智能服務(wù)管理暫行辦法》備案，位列第一批名單，可正式上線面向公眾提供服務(wù)。
智譜AI首席執(zhí)行官張鵬日前接受36氪的采訪時，分析了選擇GLM（通用語言模型）路徑的原因，他指出，GLM對人類輸入意圖，以及對一些常識或者知識類信息的理解能力，出現(xiàn)了一些意想不到的表現(xiàn)。他亦分享道，智譜AI預(yù)見到的下一代技術(shù)應(yīng)該是認(rèn)知智能。圍繞大模型的落地，他分享只有一定規(guī)模的大模型，才能夠?qū)崿F(xiàn)類人的認(rèn)知能力的涌現(xiàn)；智譜AI希望擁有解決多場景、多任務(wù)甚至跨模態(tài)的技術(shù)。
智譜AI首席執(zhí)行官張鵬
在清華科技園賽爾大廈的大廳，能看見許多前來拜訪的投資人和FA。在科技園的2層和5層，有一家大模型公司、啟明創(chuàng)投投資企業(yè)智譜AI。
為何投資人看好智譜AI？
不少圈內(nèi)人給出的答案都是：自2019年成立，智譜AI就是“有人、有技術(shù)、有客戶”的“完成時”企業(yè)。
智譜AI每個創(chuàng)始成員單拎出來，都是圈內(nèi)叫得上名字的學(xué)者。比如首席執(zhí)行官張鵬設(shè)計和研發(fā)的跨語言知識圖譜系統(tǒng)XLORE，在國際上頗受好評。
智譜AI首席執(zhí)行官張鵬
而智譜AI合作研發(fā)的超大規(guī)模預(yù)訓(xùn)練語言模型GLM-130B，是2022年亞洲唯一入選斯坦福評測的全球主流大模型。這個自研的大語言模型，也直接讓智譜AI的名字，出現(xiàn)在百度、字節(jié)、360、有道等企業(yè)的合作名單中。
今年6月，在硅谷科技媒體The Information的盤點中，智譜AI被視為最有可能成為“中國OpenAI”的5家企業(yè)之一。
不過，成為“中國的OpenAI”，并非智譜AI的目標(biāo)。
“中國沒有自己的預(yù)訓(xùn)練模型框架。”張鵬告訴36氪。市面上最主流的三種模型訓(xùn)練路徑都出自西方：GPT來自O(shè)penAI，BERT和T5都來自谷歌。若是照搬西方的主流路徑，意味著中國企業(yè)已經(jīng)失去了先發(fā)優(yōu)勢，彎道超車的機會渺茫。
為此，智譜AI提出了全新的GLM（通用語言模型）路徑。若GPT的原理可以被比作“根據(jù)上文做完形填空”，那么GLM完形填空的依據(jù)則從上文擴充到上下文——理論上，GLM的訓(xùn)練效率會比GPT更高，也能理解更復(fù)雜的場景。
時至今日，GLM的探索已經(jīng)初見成效?！霸诠韫?，智譜AI的GLM應(yīng)該是最被頭部科技企業(yè)承認(rèn)的中國大語言模型。”一名微軟的算法工程師告訴36氪。
為了更早推動AGI（通用人工智能）技術(shù)，智譜AI沒有選擇推出行業(yè)大模型，而是說服行業(yè)客戶在通用大模型基座上做微調(diào)。
“行業(yè)模型本質(zhì)上是用大模型的殼，重復(fù)造了一遍傳統(tǒng)算法的輪子。”張鵬指出行業(yè)大模型的局限性，“我們認(rèn)為只有一定規(guī)模的（通用）大模型，才能實現(xiàn)類人的認(rèn)知能力涌現(xiàn)?！?/span>
以下為精編整理的采訪實錄。
01/
帶著技術(shù)、團隊、客戶
直接入場
36氪：智譜AI給人的感覺是手里盤的球很多，一邊做技術(shù)研發(fā)，一邊做行業(yè)落地，還能做一些企業(yè)服務(wù)。你們是怎么做到的？
張鵬：人工智能本來就是一個綜合性學(xué)科，如果研究的成果不能很快被應(yīng)用，它的價值很可能被遺忘。所以在KEG，我們會把研究和工程放在相對平等的位置上。這個風(fēng)格也延續(xù)到我們出來做公司。
另一個因素是，在大模型時代里，產(chǎn)學(xué)研用這件事被極度壓縮，表現(xiàn)為周期變短、距離變近。原來像神經(jīng)網(wǎng)絡(luò)、CV等技術(shù)從被學(xué)界研究出來，到真正落地工業(yè)產(chǎn)生實際價值，中間要2-5年。但ChatGPT模型訓(xùn)練到產(chǎn)品上線，再到有一億全球用戶，可能不超過1年。
36氪：從2019年成立，智譜AI的商務(wù)合作就沒斷過，當(dāng)時你們是怎樣讓商業(yè)合作跑起來的？
張鵬：我們有一個和別人不一樣的特點，長期有一群工程師和研究員一起工作，所以從成立第一天起，智譜AI就是從一個團隊開始的。
所以從公司的發(fā)展路徑上來說，我們是帶著技術(shù)，帶著團隊，帶著客戶和市場直接啟動。我們是一邊做核心的技術(shù)，一邊去拓展市場。
36氪：你們實驗室的技術(shù)對應(yīng)的客戶和市場是什么樣的？
張鵬：我們團隊早期在學(xué)校里做知識工程相關(guān)的研究，比如說科技情報分析、數(shù)據(jù)挖掘，所以服務(wù)的客戶群體比較廣泛，國內(nèi)的科研機構(gòu)、科技型企業(yè)、互聯(lián)網(wǎng)企業(yè)，甚至包括國際上的頂尖科技企業(yè)。
36氪：團隊對轉(zhuǎn)向研究大模型的信心從何而來？
張鵬：我們一直大膽假設(shè)，小心求證。
有一句話叫做“預(yù)見未來”，這和我們一開始主要的研究方向有關(guān)，包括數(shù)據(jù)挖掘、機器學(xué)習(xí)、算法這些知識工程下面的分支。這個過程中我們可以做科技趨勢的分析和對未來的預(yù)判。
36氪：智譜AI能預(yù)見的是什么？
張鵬：從宏觀角度來講，人工智能技術(shù)的發(fā)展經(jīng)歷了幾個階段，比如此前到了感知智能的階段。
我們認(rèn)為下一代的技術(shù)應(yīng)該是認(rèn)知智能。認(rèn)知智能的技術(shù)要解決的問題，和上一代的感知智能不太一樣，比如多模態(tài)需要更大的數(shù)據(jù)量、更類人智能的能力，以及多任務(wù)、多場景的一些通用化的能力等等。
所以公司成立的時候，我們就在研究大模型相關(guān)的底層技術(shù)，包括算法。2021年我們就有了自己的成果GLM，比GPT-3稍微晚了一點。
02/
采用GLM路線的原因
36氪：你們有沒有橫向和國內(nèi)其他團隊對比過技術(shù)和研究進展？
張鵬：我還不清楚到底應(yīng)該怎么和別人比。如果要比的話，我們更愿意跟世界最頂尖水平去比，比如OpenAI。當(dāng)然在技術(shù)層面上，我們保持開放，和國內(nèi)其他團隊的交流保持得還不錯，但我們不會特別從競爭對手的角度去看待問題。
36氪：硅谷的進展是大模型賽道很重要的一個參照，那邊有直接對智譜AI的成立產(chǎn)生重要影響的時刻嗎？
張鵬：我個人認(rèn)為有兩件事。
第一件是2020年5月GPT-3的發(fā)布，直接將預(yù)訓(xùn)練模型的參數(shù)規(guī)模推到1000億以上，模型表現(xiàn)出的智能確實超乎想象。我們在第一時間就開始研究參數(shù)量的影響，后來對這事兒有了更深刻的理解后，我們對投入更多資源和精力去做大模型也更加堅定。
第二件事就是ChatGPT的發(fā)布。其實在ChatGPT之前，InstructGPT和WebGPT等技術(shù)我們一直有，也預(yù)感到基于GPT-3這樣一個優(yōu)秀千億基座的智能應(yīng)用會迎來爆發(fā)。但ChatGPT的上線給我們一個明顯信號：預(yù)訓(xùn)練模型已經(jīng)到了完全可使用且好用的階段，是產(chǎn)品化的很好范例。
36氪：這兩件事的具體影響是什么？
張鵬：GPT-3對我們的影響是堅定了要自研一個稠密的、千億的、雙語的模型。因為當(dāng)年我們研究完之后也知道，做這樣一件事情投入是非常大的，尤其是算力、人才、團隊、數(shù)據(jù)。
2020年智譜AI才成立一年多，但OpenAI已經(jīng)做了兩年多，他們的很多資源也遠超我們。所以那時即便聯(lián)合清華的研究團隊，做大模型也是一件有挑戰(zhàn)的事，團隊經(jīng)過了激烈的討論才確定。所以GPT-3給了我們信心。
36氪：團隊激烈討論的重心是什么？
張鵬：那個時候GLM還沒有完全定型，之前我們用的這些模型，比如MoE（專家混合模型，在Transformer架構(gòu)的基礎(chǔ)上增加了可以處理不同數(shù)據(jù)的“專家層”）等方法，雖然也能通過稀疏化的方式把模型參數(shù)推到很大，但效果并不太好。
我們內(nèi)部也在討論是繼續(xù)走稀釋模型路徑，還是做更大的稠密模型。那個時候因為OpenAI沒有公開很多技術(shù)細節(jié)，大家也不知道怎么復(fù)現(xiàn)，國外像Meta、BigScience，復(fù)現(xiàn)GPT都不能算特別成功。所以內(nèi)部也在討論，我們該選用什么樣的技術(shù)路線，然后該怎么做這件事，以及目標(biāo)是什么。
36氪：智譜AI采用的是GLM，不是比較主流的GPT。團隊是怎么考慮技術(shù)路線問題的？
張鵬：單純從技術(shù)發(fā)展上來看，其實早期預(yù)訓(xùn)練模型就有幾個類型，比如GPT、BERT還有T5，每個訓(xùn)練框架都有適合的某些任務(wù)和場景。
在早期，BERT的效果比GPT-1和GPT-2更好，直到參數(shù)規(guī)模更大的GPT-3出現(xiàn)。所以，我們做GLM的原因，是希望把不同預(yù)訓(xùn)練模型的優(yōu)勢組合到一起。
還有一個原因是，中國沒有自己的預(yù)訓(xùn)練模型框架。無論是GPT、BERT，還是T5，都是西方的科學(xué)家提出的底層技術(shù)。我們不希望復(fù)刻OpenAI的路徑。
36氪：采用GLM是一種冒險的做法，團隊是什么時候覺得路線可行？
張鵬：參數(shù)規(guī)模達到千億規(guī)模的時候，我們突然發(fā)現(xiàn)GLM對人類輸入意圖，以及對一些常識或者知識類信息的理解能力，出現(xiàn)了一些意想不到的表現(xiàn)。我最喜歡舉的一個例子是：
當(dāng)你問大模型一個簡單的問題：一個嬰兒出生的時候，它的頭長是身長的1/4，如果一個嬰兒出生的時候身長是50厘米，請問它的頭長是多少？
這是一個很簡單的小學(xué)的數(shù)理的數(shù)學(xué)的題目，對吧？
但GLM模型給出的答案是非常有意思的，它并沒有用簡單的“50×1/4”這種方式來計算，而是用了“50÷4”來計算。背后的邏輯是，模型理解了“乘以1/4”和“除4”之間在數(shù)學(xué)上的等價關(guān)系。
我從來沒有在參數(shù)規(guī)模小一點的模型上看到這樣的現(xiàn)象。
03/
通用大模型
做行業(yè)生意
36氪：之前有觀點是大模型和應(yīng)用場景要同時做。你們覺得這是現(xiàn)在做大模型最好的方式嗎？
張鵬：我覺得這和認(rèn)知以及團隊的基因有關(guān)，就是你更擅長干什么。
老王已經(jīng)成功過，他對很多事情有自己的篤信，他覺得一種技術(shù)最終是要落地，結(jié)合場景產(chǎn)生實際價值的，這樣會更快。
這個邏輯我也認(rèn)同，所以我們也會考慮怎么去做落地，比如到底To B還是To C？我們要不要做To C？如果做To C我們到底做什么樣的產(chǎn)品？這些問題最終歸結(jié)到我們更相信什么和更擅長什么。
36氪：To B還是To C，你們的想法是什么？
張鵬：我們還是比較認(rèn)同OpenAI的路徑，To C有自己的好處，最主要的目的是聚集用戶，這是獲得用戶量和用戶數(shù)據(jù)反饋最直接的通路，團隊也基于智譜AI自主研發(fā)的中英雙語對話模型ChatGLM2，正式上線了首款生成式AI助手——智譜清言。To B更多的是為了市場和最快的收益。
36氪：在大模型落地的過程中，智譜AI最主要的認(rèn)知是什么？
張鵬：我們的認(rèn)知可以概括為：不把目標(biāo)定為“做中國的ChatGPT”。從成立起我們就認(rèn)為預(yù)訓(xùn)練模型是一項革命性的技術(shù)，但它有自己的問題，不能包治百病，可能也不是AGI的終極方案。不復(fù)制ChatGPT，會讓我們在具體落地過程中和其他團隊有一些差異。
36氪：是怎樣的差異？
張鵬：從最早開始我們就定了做通用大模型，沒有做所謂的小模型。之前也有企業(yè)說不一定需要大模型，小模型也能很好地平衡成本和效果。但我們認(rèn)為只有一定規(guī)模的大模型，才能夠?qū)崿F(xiàn)類人的認(rèn)知能力的涌現(xiàn)。
其次我們希望擁有解決多場景、多任務(wù)甚至跨模態(tài)的技術(shù)，我們不會把模型局限在具體的任務(wù)、場景，甚至垂直的行業(yè)里。當(dāng)然行業(yè)大模型也沒問題，但是我們認(rèn)為它可能是階段性的、時代所需的產(chǎn)物，畢竟需要落地，在使用過程能平衡成本和收益。但最終我們還是得推動AGI，不能停留在一個階段性目標(biāo)上。
36氪：這會如何影響智譜AI落地垂直行業(yè)的路徑？
張鵬：就算我們做行業(yè)落地，用的也是通用大模型，當(dāng)然中間需要解決的事情會比較多。
36氪：怎么說服行業(yè)客戶用通用大模型？
張鵬：我們會和客戶拉齊這樣一個認(rèn)知：所謂的行業(yè)能力或?qū)I(yè)能力，可以在通用基座上用少量數(shù)據(jù)的微調(diào)和深度學(xué)習(xí)快速獲得。
如果客戶沒法很好利用通用大模型的能力，而是仍然用專用模型解決問題，本質(zhì)上和傳統(tǒng)模式?jīng)]有區(qū)別，可能唯一的區(qū)別是行業(yè)大模型的成本比之前更高。
但如果客戶強調(diào)近期收益，或者場景很狹窄，比如只想提升智能客服的問答效果，那用所謂的專業(yè)小模型可能就夠用了。
所以我們就會把以上的觀念同步給客戶，如果他們接受通用大模型，那我們就持續(xù)合作共創(chuàng)；如果他們說不，我們只需要把當(dāng)下的業(yè)務(wù)搞定，那么我們就用符合用戶成本預(yù)算的方案來解決，比如Model Instance（為企業(yè)提供模型API的商業(yè)模式）方案。
36氪：服務(wù)客戶和項目反過來對學(xué)術(shù)有怎樣的幫助？
張鵬：數(shù)據(jù)反饋、用戶反饋是大家比較了解的最直接的幫助。另外一個幫助是核算收支平衡點，大模型落地的每個行業(yè)都還不太一樣，這時候就會倒逼我們在技術(shù)上做選擇：是要更大的模型、更高的成本、更好的效果，還是要去平衡成本，比如出一個中等規(guī)模的模型，來滿足客戶對成本的要求。
36氪：目前比較好的收支平衡點是？
張鵬：目前來看，不同規(guī)模的模型有不同的收支平衡點。
04/
在榜單上超越ChatGPT
不是真超越
36氪：智譜AI的團隊規(guī)模感覺在大模型創(chuàng)業(yè)公司里并不小。
張鵬：因為我們的團隊非常齊全。從數(shù)據(jù)，到訓(xùn)練集群的運維，再到核心算法的研究，所有的層次都是自己人。
36氪：做大模型的清華系團隊很多，你們交流多嗎？大家的路徑有差別嗎？
張鵬：其實大家的路徑都有所差別。我們比較開放，在學(xué)術(shù)技術(shù)上的交流以及產(chǎn)品上的合作都比較開放，大模型不是靠一家獨大就能做好的，還是需要開放的生態(tài)。我覺得做開源也好、免費也好，這些事情都不是為了商業(yè)利益。
36氪：智譜AI也開源了GLM-130B，開源和商業(yè)化會有沖突嗎？
張鵬：兩件事情不是天生矛盾。開源可以提供一個比較繁榮的社區(qū)和生態(tài)，社區(qū)的活力能保證產(chǎn)品的迭代和創(chuàng)新力。
商業(yè)化模型版本則會給有需求的客戶提供更好的服務(wù)，比如更穩(wěn)定、安全。所以兩者各有優(yōu)勢，也可以互相彌補。
我們很多客戶也是開源社區(qū)過來的，他們會先用開源版本做簡單的學(xué)習(xí)和體驗，嘗到了新技術(shù)的便利，轉(zhuǎn)頭找我們做商業(yè)化合作。
36氪：在通往AGI的路上，哪些重要因素能讓團隊跑得更快？
張鵬：首先要認(rèn)識到大模型不完美。用行為學(xué)的方式，去模擬或者定義人的認(rèn)知能力，這是大模型給我們帶來的一個解決方案。
但就像張?院士說的那樣，大模型構(gòu)造的是人腦的system 1，還要引入另一套機制去實現(xiàn)system 2，去補完大腦的功能。所以從研究角度還要去做一些努力，并且用大模型的優(yōu)點彌補缺點。
其次是定義好目標(biāo)。比如現(xiàn)在大家經(jīng)常會聽到“超越ChatGPT”的口號，但是把它拆解開來定義清晰不容易，比如超過ChatGPT是追趕它哪方面的能力？是在某一個榜單上超過它嗎？上榜就意味著超越嗎？
我覺得認(rèn)知到事情的本質(zhì)，就能夠避免做無所謂的消耗。
來源 | 36氪
作者 | 楊軒 周鑫雨
編輯 | 蘇建勛
