3月16日,百度正式發(fā)布大語言模型、生成式AI產品“文心一言”。百度創(chuàng)始人、董事長兼首席執(zhí)行官李彥宏及百度首席技術官王海峰出席發(fā)布會。李彥宏展示了文心一言在文學創(chuàng)作、商業(yè)文案創(chuàng)作、數(shù)理推算、中文理解、多模態(tài)生成五個使用場景中的綜合能力。
“生成式AI代表著新的技術范式,是任何企業(yè)都不應錯過的大機會?!崩顝┖暾f,“這段時間不斷有人問我,為什么現(xiàn)在發(fā)布,你們是不是真的ready了?其實,百度在過去十幾年中持續(xù)在AI研發(fā)上堅持投入,文心大模型第一個版本2019年就發(fā)布了,此后的每一年都發(fā)布一個新版本,從這個意義上說,文心一言的發(fā)布只是我們過去多年努力的一個自然延續(xù)?!?
李彥宏表示,大家的期望值是要對標ChatGPT,甚至要對標GPT-4,這個門檻還是很高的。全球的大廠當中,百度是第一個“發(fā)布”的。他說,內測中“文心一言”并不完美,之所以現(xiàn)在要發(fā)布,原因在于市場有強烈需求。其定位是通用大模型。
李彥宏認為,多模態(tài)是生成式AI一個明確的發(fā)展趨勢。未來,隨著百度多模態(tài)統(tǒng)一大模型的能力增強,文心一言的多模態(tài)生成能力也會不斷提升。而大模型會帶來三大產業(yè)機會:新型云計算、行業(yè)模型精調、應用開發(fā)。
發(fā)布會舉行時,截至14時22分,百度集團(09888.HK)股價跌幅擴大至近10%,報120.5港元/股。
演示五個場景下的能力
發(fā)布會上,百度播放了“文心一言”的演示視頻,以下為演示實錄。
文學創(chuàng)作

問題:
· 《三體》的作者是哪里人?
· 可以總結一下《三體》的核心內容嗎?如果要續(xù)寫的話,可以從哪些角度出發(fā)?
· 如何從哲學的角度續(xù)寫?
· 電視劇《三體》演員都有誰?
· 于和偉和張魯一有哪些共同點?
· 于和偉和張魯一誰更高?
李彥宏:剛才的演示中,“總結三體的核心內容”,體現(xiàn)的是文心一言的總結、分析能力。續(xù)寫《三體》,體現(xiàn)的是內容創(chuàng)作生成能力。
《三體》的作者是誰?他是哪里人?電視劇三體演員都有誰?文心一言回答是正確的。大家可能知道,生成式AI這類產品,在回答事實性問題時,有時候會出錯。文心一言延續(xù)了百度知識增強的大模型理念,大幅度提升了事實性問題的準確率。
于和偉和張魯一有哪些共同點、于和偉和張魯一誰更高?這類問題背后,則體現(xiàn)的是文心一言的推理能力。比如,它得先知道兩人的準確身高,才能得出正確答案。
商業(yè)文案創(chuàng)作

問題:
· 如果要成立一個用大模型服務中小企業(yè)數(shù)字化升級的科技服務公司,可以起個什么公司名?
· 數(shù)智云圖這個名稱不錯,給我起一個公司的服務Slogan,表達共贏的概念。
· 幫我生成一篇公司成立的新聞稿,數(shù)智云圖以共贏的服務理念用大模型服務中小企業(yè)數(shù)字化升級。字數(shù)600字。
李彥宏:剛才的演示,展現(xiàn)了文心一言連續(xù)三次內容創(chuàng)作生成。
AI要寫好一篇稿子,除了需要準確理解我們的意圖,還要有清晰的表達能力。
這背后有一個基礎,就是龐大的數(shù)據(jù)規(guī)模。人類常說“讀萬卷書”,而AI可以說是 “讀書破千億卷”。文心一言大模型的訓練數(shù)據(jù)就包括,萬億級網頁數(shù)據(jù),數(shù)十億的搜索數(shù)據(jù)和圖片數(shù)據(jù),百億級的語音日均調用數(shù)據(jù),以及5500億事實的知識圖譜等,這讓百度在中文語言的處理上,能夠處于獨一無二的位置。
有研究表明,數(shù)據(jù)規(guī)模足夠大,參數(shù)達到千億級,大模型就可能發(fā)生“智能涌現(xiàn)”,即使在沒有專門訓練過的領域,也能涌現(xiàn)出知識理解和邏輯推理能力。
數(shù)理邏輯推算任務

問題:
· 下面我們來玩一個雞兔同籠的游戲。1只雞有2只腳1個頭,1只兔子有4只腳1個頭。那么,如果有一個籠子里有9個頭,40只腳,應該有多少只雞,多少只兔子?
· 下面我們來玩一個雞兔同籠的游戲。1只雞有2只腳1個頭,1只兔子有4只腳1個頭。那么,如果有一個籠子里有9個頭,30只腳,應該有多少只雞,多少只兔子?
李彥宏:對于第一道題,文心一言經過演算,認為可能是題出錯了。對于第二道,文心一言不但給出了正確結果,還詳細給出解題步驟??梢钥闯觯男囊谎阅芾斫忸}意,并有正確的解題思路,進而像學生做題一樣,按正確的步驟,一步步算出正確答案。
文心一言已具備了一定的思維能力,能夠學會數(shù)學推演及邏輯推理這類相對復雜任務。當然,現(xiàn)階段準確率還不是100%,我們還需要給它更多的時間來學習和成長。
中文理解能力

問題:
· “洛陽紙貴”是什么意思?
· 當時洛陽的紙到底有多貴?
· 這個成語在現(xiàn)在的經濟學原理里,對應的理論是什么?
· 用洛陽紙貴四個字寫一首藏頭詩。
李彥宏:“洛陽紙貴”,“藏頭詩”,這很考驗AI對中文和中國文化的理解。
作為扎根于中國市場的大語言模型,文心一言具備中文領域最先進的自然語言處理能力。這個例子就比較清楚地展示了我們在中文上的優(yōu)勢。
相對應的,文心一言目前對英文語種、代碼場景的訓練還不夠多,表現(xiàn)還不夠好,接下來我們還要加緊訓練,不斷完善這些能力。
多模態(tài)生成

問題:
· 請為2023世界智能交通大會創(chuàng)作一張海報。
· 你認為智能交通最適合哪個城市發(fā)展?
· 請用四川話將以上內容講出來。
· 請將以上內容生成視頻。
李彥宏:剛才這一段演示,文心一言生成了文本、圖片、音頻和視頻,展示了多模態(tài)生成能力。目前的版本,已經能夠生成文字、圖片和語音。生成視頻因為成本比較高,還沒有對所有用戶開放,未來我們會逐步接入。但是熟悉百家號創(chuàng)作的朋友,應該都體驗過這個功能了,每天有幾萬篇文章通過這個能力轉成視頻內容在百度分發(fā)。
多模態(tài)是生成式AI一個明確的發(fā)展趨勢。未來,隨著百度多模態(tài)統(tǒng)一大模型的能力增強,文心一言的多模態(tài)生成能力,也會不斷提升。
“四層架構的每一層都有領先產品”
在結束演示后,李彥宏總結道:“從文心一言的表現(xiàn)看,某種程度上它具有了對人類意圖的理解能力,回答的準確性、邏輯性、流暢性,都逐漸接近人類水平。但整體而言,這類大語言模型還遠未到發(fā)展完善的階段,它們有時候會有很驚艷的表現(xiàn),但不少場景下,細究起來還有明顯的bug,進步空間很大。未來這段時間它一定會飛速發(fā)展,日新月異。”
李彥宏表示,通過定向微調,可以在百度內外部各類產品上逐步展示出驚人的親和力,讓每一個產品離自己的用戶和客戶更近。文心一言這樣的大語言模型,會成為每個人必不可少的生產力工具。不過,無論是哪家公司,都不可能靠突擊幾個月就能做出這樣的大語言模型。深度學習、自然語言處理,需要多年的堅持和積累,沒法速成。
“人類進入人工智能時代,IT技術的技術棧發(fā)生了根本性變化。過去基本分為三層:芯片層,操作系統(tǒng)層和應用層。現(xiàn)在可以分為四層:芯片層、框架層、模型層和應用層?!彼榻B說,“今天,百度是全球為數(shù)不多、在這四層進行全棧布局的人工智能公司,從高端芯片昆侖芯,到飛槳深度學習框架,再到文心預訓練大模型,到搜索、智能云、自動駕駛、小度等應用,各個層面都有領先業(yè)界的自研技術?!?
文心一言位于模型層。2019年,百度推出了文心大模型ERNIE 1.0。目前,ERNIE 3.0每天接受數(shù)十億次用戶的搜索請求。這讓文心一言能夠基于一個龐大的、高效的數(shù)據(jù)池,快速地學習和改進。
“大模型訓練堪稱暴力美學,需要有大算力、大數(shù)據(jù)和大模型,每一次訓練任務都耗資巨大。全棧布局的優(yōu)勢在于,可以在技術棧的四層架構中,實現(xiàn)端到端優(yōu)化,大幅提升效率。尤其是,框架層和模型層之間,有很強的協(xié)同作用,可以幫助構建更高效的模型,并顯著降低成本。事實上,超大規(guī)模模型的訓練和推理,給深度學習框架帶來了很大考驗。比如,為了支持千億參數(shù)模型的高效分布式訓練,百度飛槳專門研發(fā)了 4D 混合并行技術?!崩顝┖杲榻B道。
“另外,芯片、框架、大模型和終端應用場景,可以形成一個高效的反饋閉環(huán),幫助大模型不斷去調優(yōu)迭代,越做越好。更好的大模型,會讓用戶體驗不斷升級?!?
最后,李彥宏強調:“在全球范圍內,在四層架構的每一層都有領先產品的公司幾乎沒有,百度的優(yōu)勢非常獨特,相信大家會在后續(xù)文心的迭代速度上有明顯感受?!?