編者按：在由啟明創(chuàng)投主辦的2023世界人工智能大會“生成式AI與大模型：變革與創(chuàng)新”論壇上，人工智能等技術(shù)前沿領(lǐng)域的著名專家與學(xué)者，頂級投資人和領(lǐng)軍創(chuàng)業(yè)者匯聚一堂，共同探索中國科技創(chuàng)新的驅(qū)動力量。
本次論壇是大會唯一一場由創(chuàng)投機(jī)構(gòu)主辦的相關(guān)論壇，立足創(chuàng)業(yè)與投資視角，分享了最新生成式AI前沿信息和實(shí)踐探索。
啟明創(chuàng)投合伙人周志峰代表啟明創(chuàng)投重磅發(fā)布了與未盡研究合作的《生成式AI》報(bào)告，并進(jìn)行深度解讀。這是行業(yè)首份基于對海內(nèi)外逾百家企業(yè)深入調(diào)研撰寫的生成式AI洞察報(bào)告。
該報(bào)告全方位呈現(xiàn)了生成式AI整體框架、產(chǎn)業(yè)圖譜，生成式AI與大模型企業(yè)的定價(jià)模型，全球AI人才分布、優(yōu)勢領(lǐng)域、全球頂尖AI從業(yè)者聯(lián)袂推薦的必讀論文，以及在大語言模型、多模態(tài)模型、商業(yè)發(fā)展上的十大展望等一系列備受關(guān)注的話題。
以下為精編整理的解讀內(nèi)容。
在座的各位嘉賓，以及在網(wǎng)絡(luò)上收看直播的觀眾們：
非常榮幸，我們能夠在這里向在座的各位嘉賓、線上的各位觀眾發(fā)布生成式AI的行業(yè)報(bào)告。
這份報(bào)告由啟明創(chuàng)投和未盡研究合作撰寫。這是啟明創(chuàng)投第一次發(fā)布生成式AI的報(bào)告，據(jù)我所知也是創(chuàng)投行業(yè)第一次由一家機(jī)構(gòu)來發(fā)布生成式AI的報(bào)告。
先和大家匯報(bào)一下這份報(bào)告的基本調(diào)研方法。
我們主要的素材來源，第一肯定是中國市場中這些非常多元化的、非常優(yōu)秀的創(chuàng)業(yè)團(tuán)隊(duì)。不算舊瓶裝新酒進(jìn)入到生成式AI這個(gè)浪潮中的公司，在2020年GPT-3引發(fā)了生成式AI這個(gè)技術(shù)變革之后新成立的公司，我們見過近200家，并從他們當(dāng)中學(xué)到了很多的信息。
我的同事也一直在密切地追蹤和分析中國以外的公司。我們追蹤過大概600家在美國的生成式AI公司。
同時(shí)最重要的就是包括在場的很多演講嘉賓在內(nèi)，啟明創(chuàng)投AI朋友圈當(dāng)中的創(chuàng)業(yè)者、科技大廠AI從業(yè)者、學(xué)術(shù)研究機(jī)構(gòu)中的學(xué)者，我們跟他們做了非常多次的一對一交流，他們的洞見是支撐我們報(bào)告的最重要的基礎(chǔ)。
未盡研究對全球百篇生成式AI的論文進(jìn)行了梳理，也對全球主要國家的AI監(jiān)管與安全政策進(jìn)行了研究，有很深入的分析。
我們也利用清華大學(xué)計(jì)算機(jī)系的Aminer平臺，抽取了AI全球頂級學(xué)者的信息進(jìn)行了分析。上述這些是我們本次報(bào)告的基本調(diào)研方法。
01/
生成式AI新浪潮的生態(tài)架構(gòu)及新物種
在之前的環(huán)節(jié)提到了我們?nèi)绾慰碅I新浪潮的生態(tài)系統(tǒng)——三層架構(gòu)：基礎(chǔ)設(shè)施層、模型層和應(yīng)用層。
以這個(gè)三層架構(gòu)為框架，我們可以通過一些具體的例子感受企業(yè)是怎么在這三層上分布的。這個(gè)新的框架中誕生了很多企業(yè)新物種。
英偉達(dá)從1993年成立，過去幾十年中，主要是面向圖形和通用計(jì)算來做GPU。因?yàn)锳I的新浪潮，它現(xiàn)在進(jìn)入到了云服務(wù)。未來它會不會成為一個(gè)新的公有云的提供商，而且是一個(gè)專門面向生成式AI的新的公有云的提供商，這是非常值得思考的問題，它現(xiàn)在已經(jīng)在底層做了這么多的布局。
像傳統(tǒng)科技巨頭，比如微軟，以前更多的是做應(yīng)用，現(xiàn)在有模型層、云服務(wù)，也做芯片了。因?yàn)樗澜o自己的模型和應(yīng)用，用什么樣的芯片做優(yōu)化更合適。
SaaS領(lǐng)域的巨頭Salesforce，以前是做應(yīng)用層的，現(xiàn)在也做自己的模型。不同的企業(yè)都在變化，快速地迎合生成式AI技術(shù)的發(fā)展。彭博Bloomberg在3月份發(fā)布了一個(gè)專門面向金融領(lǐng)域的大模型，以前我們說它是一個(gè)信息提供商，現(xiàn)在也開始做AI。
還包括像智譜AI這類基礎(chǔ)模型公司，提出了Model as the Sevice這種全新的商業(yè)模式，對外輸出模型能力，把模型作為一種服務(wù)，這也是非常好的新模式。
在三層架構(gòu)中，各種各樣的公司都在不斷地演進(jìn)，變成了和以前完全不一樣的形態(tài)。
02/
生態(tài)架構(gòu)中每一層的定價(jià)研究
我們是一家創(chuàng)投機(jī)構(gòu)，我們希望從企業(yè)使用生成式AI的成本、定價(jià)的角度，能夠給大家提供一些分析。這樣不同的企業(yè)在進(jìn)入這三層中的任何一層的時(shí)候會有一個(gè)參考，是否應(yīng)該進(jìn)入、在這一層中有沒有自己存在的空間和地位？
第一個(gè)定價(jià)研究是基礎(chǔ)設(shè)施層。我們以AWS為例，AWS是全球最大的算力服務(wù)公有云提供商。以現(xiàn)在一個(gè)比較標(biāo)準(zhǔn)的配置，在AWS上租用一臺A100服務(wù)器，包括8塊英偉達(dá)的GPU，然后配上NVLink、Infiniband網(wǎng)絡(luò)等配置。現(xiàn)在AWS、微軟，火山引擎、華為云、阿里云，這種配置的算力資源太搶手了，創(chuàng)業(yè)公司都搶不到，大廠自己都不夠用。如果按AWS現(xiàn)在的價(jià)格，能夠維持百分之百的使用率，毛利率水平可以達(dá)到80%以上，這是非常驚人的。我們以為公有云是一個(gè)資產(chǎn)密集型的產(chǎn)業(yè)，但是它可以實(shí)現(xiàn)這么高的毛利率水平，基本上是各行各業(yè)中最頂級的毛利率水平。
如果未來無論是需求側(cè)下降了，還是供給側(cè)進(jìn)一步地提高，或者是像壁仞科技這樣的企業(yè)提供性價(jià)比更好的芯片，當(dāng)AWS上算力租用的利用率下降到50%左右的時(shí)候，毛利率會下降到63.6%。毛利率水平也很高了。這一層肯定是未來幾年生成式AI發(fā)展中非常獲利的一層。
其次是模型層。大家不斷聽說OpenAI訓(xùn)練一個(gè)大模型要幾千萬美元，這是一家初創(chuàng)公司能夠承受得起的嗎？除了科技大廠，創(chuàng)業(yè)公司訓(xùn)練大模型還有意義嗎？這個(gè)問題在過去半年說得最多，我們算一下賬，到底需要多少錢？
模型算力支出可以分為訓(xùn)練和推理。每參數(shù)每token的算力需求是常數(shù)，訓(xùn)練上是6 FLOPS，也就是每秒鐘需要6次浮點(diǎn)運(yùn)算，可以完成一個(gè)參數(shù)上一個(gè)token的訓(xùn)練。推理是2 FLOPS。
舉個(gè)例子，OpenAI著名的GPT-3是1750億參數(shù)，它一共使用了3000億個(gè)token進(jìn)行訓(xùn)練，怎么計(jì)算算力需求？1750億乘以3000億，乘以6 FLOPS，得出的就是訓(xùn)練這個(gè)模型大概所需要的算力。
壁仞科技合伙人梁剛博士介紹了像壁仞科技和英偉達(dá)等單卡GPU能夠提供的FLOPS也是一個(gè)常數(shù)。
還要考慮的是算力使用效率。好的團(tuán)隊(duì)，能做到60%、70%或者80%，不好的團(tuán)隊(duì)同樣用這樣的算力設(shè)備，可能只能發(fā)揮出20%-30%的算力效率。所以，還要乘以50%的平均使用效率，可以得到它最后的訓(xùn)練和推理成本。
2020年的時(shí)候，英偉達(dá)的主流旗艦GPU是V100，GPT-3需要1400萬美元訓(xùn)練一次，非常昂貴。那個(gè)時(shí)候，當(dāng)研發(fā)人員按下訓(xùn)練開始鍵的時(shí)候，和火箭發(fā)射一樣的昂貴，如果這個(gè)鍵按下去訓(xùn)練失敗了，1400萬美元就沒有了。2022年A100逐漸成為大家訓(xùn)練模型的主力配置，由于A100本身性價(jià)比的提升及各自團(tuán)隊(duì)算力使用效率的提升，同樣GPT-3模型的訓(xùn)練成本變成了100多萬美元。
現(xiàn)在更主流的配置是H100和H800，比A100的性能提升了3倍以上，那大模型的訓(xùn)練成本肯定進(jìn)一步下降。
大家經(jīng)常會問中國公司有沒有機(jī)會趕上或者超越像OpenAI這樣頂級的大模型公司？起碼從算力成本角度來看，是有這個(gè)機(jī)會的，訓(xùn)練一個(gè)新的大模型的成本越來越低，不再是一個(gè)大的壁壘了。
還有一點(diǎn)，我們在報(bào)告中計(jì)算了AI對算力需求的增長，是遠(yuǎn)遠(yuǎn)大于摩爾定律的。芯片是18個(gè)月transistor的密度翻了一倍，AI模型對算力需求的增長是差不多3個(gè)月翻一倍。解決未來生成式AI的發(fā)展，肯定不能單靠芯片公司的半導(dǎo)體制程的進(jìn)步，一定要提高算力使用效率，怎么把這個(gè)效率提升到80%、90%以上，這是我們認(rèn)為創(chuàng)業(yè)非常有機(jī)會的地方。啟明創(chuàng)投也是提前布局了這個(gè)領(lǐng)域的公司，如何在英偉達(dá)、壁仞科技的GPU上提升訓(xùn)練和推理的效率，讓整體成本下降，把整個(gè)產(chǎn)業(yè)推上一個(gè)臺階。
最后一層是應(yīng)用層定價(jià)。這一層也很有意思。應(yīng)用層定價(jià)與具體的應(yīng)用場景是強(qiáng)相關(guān)。
比如應(yīng)用的用戶規(guī)模，如果是一個(gè)企業(yè)有2000人，我的應(yīng)用主要給這2000人用，用戶規(guī)模不大。對比一個(gè)互聯(lián)網(wǎng)大廠推出的社交軟件，例如有10億月活。使用量規(guī)模對算力的要求是完全不一樣的。
另外是應(yīng)用的使用頻度。有些應(yīng)用每天可能就用一次，有些應(yīng)用一天調(diào)用AI模型可能是100次以上。
第三是推理的輸入，要輸入一個(gè)prompt，有的應(yīng)用的輸入詞很短，有的需要輸入一整篇文章，成千上萬個(gè)token。
最后是推理輸出的內(nèi)容，有的很簡短，有的要長很多。以上這些都大大影響了應(yīng)用公司的成本結(jié)構(gòu)。
比如查詢工具，我的同事想查一下啟明創(chuàng)投員工過去六個(gè)月誰的開銷最高？這個(gè)只有幾十個(gè)token的輸入，是很短的輸入，回答可能也很短，告訴你開銷最高的人的名字和金額。這類應(yīng)用單日大模型調(diào)用的成本在幾百到幾千美元水平。這類應(yīng)用的一個(gè)SaaS公司，達(dá)到了千萬DAU，單日成本是2萬美元。如果是一個(gè)金融機(jī)構(gòu)，應(yīng)用是做行業(yè)研究，要在AI大模型中輸入一個(gè)比較長的查詢，甚至有一些輔助性的行業(yè)報(bào)告要放進(jìn)AI模型中，最終得出一個(gè)行業(yè)分析，很顯然這個(gè)輸入和輸出是長文本的，則單日成本就會上升比較大。高頻的場景，如社交應(yīng)用，一個(gè)用戶每天和大模型對話200次以上，用戶量上去之后，一天的成本可以達(dá)到幾十萬到幾百萬美元。
03/
生成式AI將永久改變企業(yè)經(jīng)營
生成式AI會帶來三類企業(yè)，第一個(gè)是守成者，這類企業(yè)是否能夠積極采納生成式AI技術(shù)去提升自己的產(chǎn)品，是企業(yè)存亡的關(guān)鍵。如果能夠積極使用生成式AI的技術(shù)增強(qiáng)已有產(chǎn)品，那新產(chǎn)品是不是可以比現(xiàn)有產(chǎn)品定更高的價(jià)格？如果可以的話，利潤就會上漲，如果不能提價(jià)，等于多了AI技術(shù)的新成本，利潤就會下降。
第二類是創(chuàng)新者，是挑戰(zhàn)者角色，會積極通過生成式AI打造產(chǎn)品服務(wù)，實(shí)現(xiàn)創(chuàng)造新場景或者是重塑舊場景。他們可以獲得一個(gè)新的溢價(jià)。減去現(xiàn)有的成本，利潤率會顯著提高。
最后是采納者，他并不會用AI改善自己對外輸出的產(chǎn)品，只是用AI來做企業(yè)內(nèi)部的管理，以降本增效為主。這一類企業(yè)取決于降本的幅度有多大，否則AI反而會成為公司額外的新成本項(xiàng)。我們認(rèn)為未來公司會是三個(gè)品類中的一個(gè)。
這個(gè)數(shù)據(jù)很有意思，我們在今年的3月底、4月初對外發(fā)布了截至2023年3月我們見過的100多家中國的生成式AI公司。這些企業(yè)是在2020年GPT-3發(fā)布后新成立的，分類主要是語言類應(yīng)用和多模態(tài)應(yīng)用。語言類大部分做聊天機(jī)器人；更多的是多模態(tài)應(yīng)用，大頭是生產(chǎn)力工具，做一些廣告文案、廣告配圖等等，還有的企業(yè)會做短視頻廣告。這些應(yīng)用企業(yè)占比比較大，相比之下做底層技術(shù)的比較少。三個(gè)月過后，還是發(fā)生了很大的變化。
第一，語言類應(yīng)用中的智能助手增多了，而且主要是有多年細(xì)分領(lǐng)域的積累和經(jīng)驗(yàn)的老兵入局了，會聚焦做一個(gè)非常細(xì)分的智能助手，面向場景的深度更深。
第二，很明顯的是底層技術(shù)的公司占比明顯增大，一批AI界的大牛開始出來創(chuàng)業(yè)了，其中有做通用大模型的，有更多的做垂直領(lǐng)域的垂域模型，有做工具鏈來提升模型訓(xùn)練和推理的效率的，這個(gè)占比變得更大。
04/
十大論文及人才分布
我們咨詢和調(diào)研了全球大概100多位頂級的AI業(yè)內(nèi)領(lǐng)袖，包括科技大廠AI團(tuán)隊(duì)、頂級研究機(jī)構(gòu)、AI創(chuàng)業(yè)者。我們問的是，生成式AI技術(shù)對你影響最重要的三篇論文。十大論文是統(tǒng)計(jì)出來排名前十的論文。
比如大家經(jīng)常說大模型是Transformer架構(gòu)的，說AI 1.0的CNN網(wǎng)絡(luò)（卷積神經(jīng)網(wǎng)絡(luò)）過時(shí)了，但是卷積神經(jīng)網(wǎng)絡(luò)的復(fù)興這篇論文依然是大模型從業(yè)者重點(diǎn)關(guān)注的一篇論文。
智能涌現(xiàn)，這肯定是大家談?wù)撟疃嗟恼撐摹?/span>
人才分布主要是利用清華大學(xué)計(jì)算機(jī)系的Aminer系統(tǒng)抽取的數(shù)據(jù)。看全球2000名頂級AI科學(xué)家，你會發(fā)現(xiàn)美國和中國的情況很不一樣。美國的頂級AI科學(xué)家在谷歌、微軟、臉書、亞馬遜、蘋果這些科技企業(yè)，排名中間也有麻省理工、斯坦福這些大學(xué)，但是在中國，第一名是清華大學(xué)，前十排名中僅有一家企業(yè)——阿里巴巴，其他都是大學(xué)。也許這說明中國企業(yè)對于AI底層技術(shù)研究的布局，跟美國的科技大廠不太一樣。
05/
十大展望
最后，我們希望在報(bào)告中大膽預(yù)測，給大家一些展望，這些展望的基礎(chǔ)也不是閉門造車，是向我們的AI朋友圈學(xué)習(xí)后的思考。
第一，以我們觀察到的進(jìn)展，在2024年，甚至更早，中國會出現(xiàn)比肩GPT-4的多語言模型。
第二，超長上下文（Long Context）是下一代大語言模型發(fā)展的重點(diǎn)。超長上下文，可以使得人與機(jī)器進(jìn)行幾天、幾個(gè)月的持續(xù)交流，而不是現(xiàn)在只能聊幾個(gè)輪次，機(jī)器就忘掉了之前的信息。
第三，我們認(rèn)為做垂類大模型有多種方法，這三種會比較常見：
在不改變數(shù)據(jù)分布的情況下，利用更多通用數(shù)據(jù)進(jìn)行通用大模型預(yù)訓(xùn)練，不特別引入行業(yè)數(shù)據(jù)；利用行業(yè)專屬數(shù)據(jù)微調(diào)（Fine-Tuning）通用大模型；利用行業(yè)數(shù)據(jù)占比更高的數(shù)據(jù)集進(jìn)行垂直模型預(yù)訓(xùn)練。
第四，我們認(rèn)為盡管今天CLIP+Diffusion這種模型架構(gòu)影響力很大，但在未來的兩年內(nèi)會出現(xiàn)新架構(gòu)的文生圖模型。
第五，這種文字到圖像的模型，未來將具備更強(qiáng)的可控性。我們已經(jīng)看到了很多業(yè)內(nèi)的頂級團(tuán)隊(duì)在這方面有新突破。
第六，今年第三、四季度會是文字到音樂生成模型的展現(xiàn)，我們相信明年視頻和3D的生成會有更大的突破。
第七，利用PALM-E做具身智能，把AI大模型跟人類物理空間中的機(jī)器人等執(zhí)行器做結(jié)合會有重大發(fā)展。
第八，Transformer雖然現(xiàn)在是主流模型架構(gòu)，模型是為了更好地壓縮全人類的數(shù)字信息，Transformer一定不是終局，還會有更先進(jìn)的網(wǎng)絡(luò)結(jié)構(gòu)出現(xiàn)。
第九，我們認(rèn)為在未來三年內(nèi)，模型能力與應(yīng)用無法解耦，真正顛覆性的應(yīng)用一定出自掌握底層模型研發(fā)能力的企業(yè)，而不會是一家純粹利用第三方大模型能力做應(yīng)用的公司。
第十，現(xiàn)在依然是一個(gè)可以產(chǎn)生平臺性企業(yè)的黃金期，我們相信在近三年中成立的一些創(chuàng)業(yè)公司可能有機(jī)會成長為千億、萬億市值的公司。
請關(guān)注啟明創(chuàng)投公眾號
在后臺輸入“生成式AI報(bào)告”
獲取完整報(bào)告下載方式
