(資料圖片)

【網(wǎng)易科技7月6日?qǐng)?bào)道】今日，2018年圖靈獎(jiǎng)得主、Meta Al基礎(chǔ)人工智能研究(FAIR)團(tuán)隊(duì)首席人工智能科學(xué)家楊立昆與地平線創(chuàng)始人兼CEO余凱在2023人工智能大會(huì)上進(jìn)行了一場(chǎng)對(duì)話，就人工智能治理展開(kāi)了深入討論。

首先，楊立昆談到了過(guò)去十年人工智能領(lǐng)域最令人激動(dòng)的進(jìn)展——自主監(jiān)督運(yùn)行的革命。他特別提到了自然語(yǔ)言處理領(lǐng)域的語(yǔ)言模型和語(yǔ)音識(shí)別等與符號(hào)序列相關(guān)的技術(shù)。他指出，類似的革命正在擴(kuò)展到圖像和視頻領(lǐng)域，并取得了顯著成果。此外，他強(qiáng)調(diào)了在Transformer架構(gòu)上的重大進(jìn)步。

余凱進(jìn)一步探討了平移不變性和排列不變性的概念，并詢問(wèn)了楊立昆的看法。楊立昆解釋道，在Transformer中，平移定變性是一種等變性，也就是說(shuō)，如果輸入發(fā)生平移，輸出也會(huì)相應(yīng)發(fā)生平移。他認(rèn)為，通過(guò)結(jié)合平移和排列不變性的概念，我們能夠?qū)崿F(xiàn)許多有意義的應(yīng)用。

隨后，余凱提到了ChatGPT以及大型語(yǔ)言模型，并詢問(wèn)了楊立昆對(duì)這項(xiàng)技術(shù)是否可以通向人工通用智能（AGI）的看法。對(duì)此，楊立昆指出，關(guān)鍵在于系統(tǒng)的功能和缺陷，如果系統(tǒng)在某些基本能力上存在缺陷，那么它就無(wú)法走向人類智能的道路。此外，他表示對(duì)自己并不太喜歡AGI一詞，因?yàn)槊糠N智能都具有特定的領(lǐng)域?qū)ｉL(zhǎng)。

在此基礎(chǔ)上，楊立昆同時(shí)指出了一些關(guān)鍵問(wèn)題。首先，大型語(yǔ)言模型僅通過(guò)文本進(jìn)行訓(xùn)練，而沒(méi)有利用圖像或視頻等其他類型的數(shù)據(jù)。這些模型的目標(biāo)是預(yù)測(cè)文本中缺失的單詞，例如ChatGPT只預(yù)測(cè)長(zhǎng)文本的最后一個(gè)單詞。然而，問(wèn)題在于無(wú)法準(zhǔn)確預(yù)測(cè)缺失的單詞，必須預(yù)測(cè)整個(gè)字典中所有單詞的分布。如果嘗試在視頻領(lǐng)域采用類似的生成式架構(gòu)來(lái)預(yù)測(cè)視頻的下一幀則面臨挑戰(zhàn)，因?yàn)橐曨l幀之間差距很小。（江淼）

關(guān)鍵詞：