據(jù)美國有線電視新聞網(wǎng)網(wǎng)站報道，兩年前，美國開放人工智能研究中心(OpenAI)的聊天生成預(yù)訓(xùn)練轉(zhuǎn)換器(ChatGPT)問世，掀起了人工智能(AI)領(lǐng)域的“淘金熱”。大量資金涌入專注研發(fā)AI及其相關(guān)產(chǎn)品的公司，因?yàn)檫@項(xiàng)技術(shù)將加速(也可能摧毀)現(xiàn)代生活的方方面面。
硅谷的說法是，AI的列車已經(jīng)出站，聰明的投資者最好在這些產(chǎn)品變得“超級智能”并開始解決世界上所有問題之前上車。(對于真正的支持者來說，這并非夸張，正是這些期望助推芯片制造商英偉達(dá)等曾經(jīng)的小眾公司成為全球估值最高的資產(chǎn)之一。)當(dāng)然，這種說法的關(guān)鍵之處在于，像ChatGPT這樣的大語言模型有望以指數(shù)級的速度不斷升級。
對AI持懷疑態(tài)度者多年來一直在警告人們注意“尺度定律”(又譯“規(guī)模定律”)，即只要向模型輸入更多數(shù)據(jù)并提升其算力，就可以不斷完善模型的輸出。不過，“尺度定律”與其說是定律，不如說是有根據(jù)的猜測。事實(shí)上，即便是創(chuàng)建大語言模型的科學(xué)家也無法完全了解它們是如何運(yùn)作的。
撞上“天花板”
最近，目前一些領(lǐng)先的語言模型似乎正在遭遇瓶頸。且看：
美國信息網(wǎng)援引不愿透露姓名的OpenAI員工的話說，該公司一些研究人員認(rèn)為，該公司下一個旗艦AI模型Orion“在處理特定任務(wù)方面不一定優(yōu)于前一版本”。
彭博新聞社援引兩名匿名消息人士的話說，Orion“沒有達(dá)到標(biāo)準(zhǔn)”，而且“到目前為止，人們認(rèn)為它相對OpenAI現(xiàn)有模型取得的進(jìn)步不如GPT-4對GPT-3.5的進(jìn)步那么大”。
路透社報道稱，“據(jù)三名知情人士透露，各大AI實(shí)驗(yàn)室的研究人員力爭發(fā)布一款性能超過GPT-4模型的大語言模型，但進(jìn)度一拖再拖，取得的結(jié)果也令人失望。而GPT-4模型已經(jīng)推出了近兩年”。
路透社還援引今年5月離開OpenAI的聯(lián)合創(chuàng)始人伊利亞·蘇茨克韋爾的話說：“本世紀(jì)10年代是規(guī)模迅速擴(kuò)張的時代，而現(xiàn)如今，我們又回到了驚奇與發(fā)現(xiàn)的時代。每個人都在尋找下一個突破點(diǎn)。”蘇茨克韋爾還說：“找對擴(kuò)張方向比以往任何時候都更重要。”
就連曾寫過一篇名為《為什么AI將拯救世界》的文章的風(fēng)險投資家馬克·安德烈森最近也在播客上表示，現(xiàn)有模型“在能力方面也撞上了類似的天花板”。
轉(zhuǎn)折點(diǎn)來臨
OpenAI首席執(zhí)行官薩姆·奧爾特曼似乎對這些報道進(jìn)行了反駁，他上周在社交平臺X上稱“不存在瓶頸”。
不管是瓶頸、山峰、平臺期，或是其他什么說法，即便是看好AI的人也表示，根據(jù)目前發(fā)布的產(chǎn)品來看，我們可能已經(jīng)來到一個轉(zhuǎn)折點(diǎn)。
美國投資集團(tuán)D.A.戴維森公司的常務(wù)董事吉爾·盧里亞說：“我們已經(jīng)有一段時間沒看到突破性模式了。部分原因是我們已經(jīng)用完人類全部數(shù)據(jù)，對同樣的數(shù)據(jù)進(jìn)行更多計(jì)算可能不會帶來更好的結(jié)果。”
這是一個偏技術(shù)的問題，但它對了解模型的局限性十分重要：為了讓這些AI機(jī)器聽起來像人類，我們必須用人類的數(shù)據(jù)來訓(xùn)練它們——大概就是用互聯(lián)網(wǎng)上的一切文本或音頻。一旦一個模型攝取所有數(shù)據(jù)，就沒有什么“實(shí)際”的東西可以繼續(xù)訓(xùn)練它了。
需要明確的是，平臺期未必是AI行業(yè)的喪鐘。但當(dāng)華爾街已經(jīng)開始對投資者何時(或是否)能指望這些光鮮亮麗、費(fèi)用極高的產(chǎn)品帶來實(shí)際收益感到不安時，肯定大事不妙。
泡沫或破裂
估值近3.5萬億美元的芯片巨頭英偉達(dá)公司和其他各大AI公司可能不必馬上擔(dān)心“規(guī)模”問題。
盧里亞說：“就上季度和本季度對英偉達(dá)(產(chǎn)品)的需求而言，毫無疑問，需求已經(jīng)超過了其供應(yīng)能力。”但如果我們真的遇到了尺度瓶頸，“可能意味著擁有超高市值的科技企業(yè)進(jìn)行了過度投資”，它們可能在不久的將來縮減規(guī)模。
這是AI樂觀主義者的觀點(diǎn)。
為了聽到不那么樂觀的觀點(diǎn)，我采訪了曾經(jīng)直言批評AI熱的紐約大學(xué)名譽(yù)教授加里·馬庫斯。
馬庫斯本月早些時候在“訂閱堆棧”網(wǎng)站上寫道：“經(jīng)濟(jì)情況可能變得嚴(yán)峻。即使大語言模型的提升空間有限，未來它們也不會消失，可這在經(jīng)濟(jì)效益層面永遠(yuǎn)行不通……當(dāng)人們認(rèn)識到這一點(diǎn)，金融泡沫可能迅速破裂；甚至英偉達(dá)也可能受到?jīng)_擊，只要人們意識到該公司的估值在很大程度上是基于錯誤的前提。”
