OpenAI、DeepMind 和 Stability AI 的科學家科普 AI 治理，Google、Meta 和微軟的領航人物共論開源未來，圖靈獎得主與斯坦福、UC Berkeley、MIT 的教授展開學術辯論——這描述的并不是遠在大洋彼岸的 NeurIPS 或 ACL 會議，而是由中國智源研究院主辦的年度盛會:北京智源大會。

今年的北京智源大會于6月9-10日召開，20場論壇、100場報告、頂尖的專家、頂尖的觀眾，匯聚了 AI 領域純粹、專業(yè)的前沿思想。OpenAI 創(chuàng)始人 Sam Altman 以及“深度學習三巨頭”中的兩位 Yann LeCun 與 Geoffrey Hinton 現(xiàn)身于分論壇視頻連線的大熒幕上，Max Tegmark 與 Stuart Russell 等來自頂尖學府的教授親赴現(xiàn)場。

(資料圖片僅供參考)

CSDN 在現(xiàn)場參加了這場為時兩天的 AI 盛會。科技大咖智聚京城，共論當前 AI 領域最前沿的爭議焦點:

對 AI 保持樂觀主義的Yann LeCun，認為 AI 還遠遠未發(fā)展到還需要操心的程度。GPT 終將過時，未來的 AI 會面臨三大挑戰(zhàn)，解決后將javascript能訓練出「世界模型」（World Model）。

曾用一份“暫停6個月 AI 研究”的公開信震驚業(yè)界的Max Tegmark教授則表示，罔顧 AI 的最壞結(jié)果將會是人類滅絕。對齊問題將是學術界接下來的一大難題:如此龐大而復雜的智能模型，要怎樣才能保持和人類同一水準的價值觀和道德觀?

一亮相便轟動北京會場的Sam Altman，則發(fā)表了一份真誠的呼吁:國際科技界需要團結(jié)一心，攜手促進 AGI 安全的透明化，為未來十年內(nèi)誕生的“超級智能”做好準備。

學術界還有一部分人，對這些圍繞 GPT 的話題并不買賬，而是關心更深遠的 AI 話題。Stuart Russell教授直言，目前的大語言模型缺乏「內(nèi)部目標」，而人類也不理解它們的“黑匣子”里都發(fā)生了什么。

Geoffrey Hinton則帶來了一場精彩絕倫的謝幕演講:“超級智能”已成雛形，但人類尚未給它建立道德準則——現(xiàn)在為時不晚。

SamAltman:

團結(jié)全世界的人才治理未來的“超級 AI”!

《道德經(jīng)》提醒我們，“千里之行，始于足下”，最有建設性的第一步是與國際科技界展開合作，推動增加AGI安全技術進展的透明度和知識的機制，發(fā)現(xiàn)緊急問題的研究人員應該與更多人共享研究成果。

“我最近在做全球巡回的訪問，期間穿越五大洲將近20個國家。我接觸了諸多的學生、開發(fā)者，這趟出行令人振奮，我們見證了全球各地的人們利用 OpenAI 的新技術來改變生活方式，我們也獲得了非常寶貴的意見，以便于讓我們的工具優(yōu)化得更好。”

這是 OpenAI 創(chuàng)始人 Sam Altman 的開場白，也是現(xiàn)場觀眾反應最激烈的一刻。Altman 首次在中國發(fā)表演講，強調(diào)了對人工智能（AI）發(fā)展的負責任態(tài)度和國際合作的重要性，特別關注全球 AI 安全對齊和監(jiān)管。他提出管理風險、推進超級智能的安全和治理的方案，并展望了 AI 的潛力和未來。同時，他呼吁全球研究人員的合作，應對技術挑戰(zhàn)，利用 AI 解決全球問題。

Altman 借用《道德經(jīng)》中的名句“千里之行，始于足下”，呼吁全球開發(fā)者共同協(xié)作。他還預測，未來10年內(nèi)“AGI 將會超過90年代初人類所具備的專業(yè)水平，這些 AI 系統(tǒng)最終可能超過人類最大體量公司的總體生產(chǎn)力，其潛在收益是巨大的。”

OpenAI 花了八個月的時間來研究如何前置預判風險并制定相應的對策，而 Altman 篤定他們處于正確的道路上前進，因為 GPT-4的對齊程度超過了當前所有的代碼水平。然而，對于更高級的系統(tǒng)，對齊仍然是一個未解決的問題。Altman 重點指出，未來需要新的技術方法和加強治理監(jiān)督，特別是考慮到 AGI 可能將是一個龐大的二進制代碼系統(tǒng)，實現(xiàn)對齊會是一場挑戰(zhàn)。

此外，Altman 積極評價了中國在人工智能安全對齊方面的重要作用。他認為中國擁有全球頂尖的人才，解決人工智能系統(tǒng)對齊的困難需要來自世界各地的人才共同努力。Altman 表示:“我們看到了美國、中國和世界各地的研究人員合作實現(xiàn) AI 目標的巨大潛力，大家都致力于解決通用 AI 技術挑戰(zhàn)。我相信我們將能夠利用通用 AI 來解決世界上最重要的問題，并顯著改善人類的生活質(zhì)量。”

演講結(jié)束的問答環(huán)節(jié)中，智源研究院理事長張宏江詢問了 Sam Altman 關于 AI 的發(fā)展近況和全球合作的進展，并對 OpenAI 在 AGI 方面的未來計劃進行了提問。Sam Altman 的觀點如下:

AGI 可能很快會出現(xiàn)，超級智能在未來十年內(nèi)可能會成為現(xiàn)實。

目前已經(jīng)取得了一些全球合作的突破，但全球合作仍然面臨困難。

AI 安全性的研究是一個復雜的問題，需要考慮多個因素，并需要大量的投入，希望中國和美國的研究人員能做出貢獻。

當被問及是否打算重新開放 GPT 的源代碼時，Altman 表示已經(jīng)作出了一定的努力，未來將會有許多開源大模型誕生。但開源模型在 AI 發(fā)展中起了重要作用，當模型變得更大時，就更需要謹慎安全問題。

Yann LeCun:

GPT 終將過時，世界模型可以成就真正的 AGI

嬰兒在九個月大的時候就能掌握大量關于世界運作方式的基礎概念:物體的永恒性、世界是三維的、有機物和無機物之間的區(qū)別、穩(wěn)定性的概念、自然分類、重力……而 GPT 這類大模型存在局限，根本無法理解現(xiàn)實世界。

2018年，ACM 公布了圖靈獎得主——Geoffrey Hinton、Yann LeCun和Yoshua Bengio。這三大巨頭同時享譽著深度學習之父的稱號，去年的北京智源大會，就邀請了其中的 Yoshua Bengio。今年，智源邀請了剩下兩位。

楊立昆原本人在美國時就答應了現(xiàn)場參會演講，但由于臨時有事，他不得不前往法國。大會當天上午，楊立昆拒絕了錄制視頻，而是在凌晨四點的法國熬夜，堅持與大家實時交流。

楊立昆的演講題目是《Towards MAChines that can Learn， Reason， and Plan》——我們要怎么打造一個能夠?qū)W習、推理和規(guī)劃的機器?楊立昆單刀直入，表示 GPT 肯定不行。當前主流的自我監(jiān)督學習路線存在許多局限，包括缺乏規(guī)劃和不合理的輸出等問題。如果想創(chuàng)造一個真正理解世界、理解人類的人工智能，那么就需要另辟蹊徑。

“那么，我們要如何讓機器像動物和人類一樣，理解世界的運作并預測其行為的后果呢?”在這句話之后，楊立昆提出了「世界模型」的概念。世界模型曾被發(fā)表于楊立昆一年前的論文《A path towards autonomous machine intelligence》，該模型要先學習世界的表征和預測模型，然后學習推理，最終實現(xiàn)真正的理解、預測和規(guī)劃能力。

然而，目前還沒有深度學習方法能夠有效地訓練這樣的世界模型。因此，楊立昆介紹了聯(lián)合嵌入預測架構（JEPA），系統(tǒng)性地介紹了這一實現(xiàn)推理和規(guī)劃的關鍵。

演講結(jié)束的問答環(huán)節(jié)中，清華大學教授、智源首席科學家朱軍詢問了楊立昆關于 AGI 的看法，問答的要點如下:

楊立昆即將參加一個辯論，與 Joshua Bengio、Max Tegmark 和 Melanie Mitchell 討論人工智能是否會威脅人類生存。

Max Tegmark 和 Joshua Bengio 認為強大的人工智能系統(tǒng)可能對人類構成風險，而楊立昆和 Melanie Mitchell 則持相反觀點。

楊立昆指出，他并不是想說“AI 完全不存在風險”，而是認為“目前的 AI 風險可以被謹慎的工程設計減輕或抑制”。

楊立昆表示自己不能預測超級智能在未來能造成多大的影響，因為超級智能尚未問世。他舉了一個例子:如果你去問一個1930年的航空工程師，“我該如何確保渦輪噴氣發(fā)動機的安全可靠性?”那他肯定答不出來，因為渦輪噴氣發(fā)動機在1930年還沒被發(fā)明出來。

Max Tegmark:

從現(xiàn)在開始加強治理，我們未來才能控制 AI

《暫停巨型 AI 實驗:一封公開信》

我們呼吁所有 AI 實驗室立即暫停對比 GPT-4更強大的 AI 系統(tǒng)的訓練至少6個月。

...

簽字人:

Yoshua Bengio，Mila 創(chuàng)始人兼科學總監(jiān)，圖靈獎得主，蒙特利爾大學教授

Stuart Russell，伯克利計算機科學教授，標準教科書“人工智能:現(xiàn)代方法”的合著者

Elon Musk，SpaceX、Tesla 和 Twitter 的首席執(zhí)行官

Steve Wozniak，蘋果聯(lián)合創(chuàng)始人

...

Max Tegmark，麻省理工學院人工智能與基礎交互中心，物理學教授，未來生命研究所所長

今年3月22號，一封名單十分豪華的聯(lián)名信被遞到了大眾視野面前，而這封信發(fā)出者，正是美國非盈利機構未來生命研究所的創(chuàng)始人 Max Tegmark。Tegmark 的演講直接排在了楊立昆之后，6月22日，兩人將在未來展開一場關于 AGI 的現(xiàn)狀和未來的辯論，而這就是辯論的預演。

Tegmark 的演講主題言簡意賅:《Keeping AI under control》——管控人工智能。Tegmark在演講中強調(diào)了控制人工智能的重要性。他認為我們需要對人工智能進行深入研究，并保持謹慎和負責任的態(tài)度。如果我們無法掌控人工智能，它可能對人類文明構成威脅。

“我提出暫停人工智能研究六個月，并不是因為我反對人工智能。倒不如說，正是因為我看到了人工智能的潛力和可能帶來的改變，我才想更謹慎、更負責任地進行研究。”Tegmark 表達了自己的態(tài)度，并提出了兩個關鍵問題:對齊問題和動機問題。

他指出，我們需要確保人工智能能夠真正完成我們的任務，并確保使用人工智能的機構具有正確的動機。此外，我們還必須考慮競爭性風險。因此，在人工智能的發(fā)展過程中，我們需要確保所有參與者都共享相同的目標——安全地使用人工智能。

“人工智能是一柄雙刃劍，它能用巨大的潛力幫助我們解決世界上最具挑戰(zhàn)性的問題，但同時也帶來了無法預測的后果和風險。我們必須謹慎前行，確保對這個強大工具安全、有效地利用。”Tegmark 說道。

演講結(jié)束的問答環(huán)節(jié)中，清華大學教授、智能產(chǎn)業(yè)研究院院長張亞勤討論了Max Tegmark 的新書《生命3.0》，問答的要點如下:

張亞勤對 Tegmark 提高人們對人工智能風險與挑戰(zhàn)意識表示感謝，并強調(diào)發(fā)明新技術和控制人工智能以造福人類和社會的重要性。

Tegmark 承認人工智能的增長速度超過了智慧的發(fā)展速度，強調(diào)需要暫停風險工作，讓智慧趕上發(fā)展。

Tegmark 對 AGI 表達了樂觀情緒，但強調(diào)需要有意識地引導人工智能朝著與人類價值和情感相一致的未來發(fā)展。

Tegmark 認為中國在人工智能監(jiān)管方面做得最多，其次是歐洲和美國。他建議年輕人注重基礎知識，發(fā)展開放思維，并在人工智能時代擁抱跨學科知識。

Stuart Russell:

AGI 前途未知，對齊是目前的首要問題

想讓機器模仿人類，那最簡單的做法就是讓大語言模型也像人類一樣，在說話時帶有目的性。但現(xiàn)在的大語言模型是否具備這種內(nèi)在目標呢?我曾經(jīng)問過微軟研究院今年的那篇論文《通用人工智能的火花:GPT-4的早期實驗》的作者，他是這么回答的:“我不知道。”

許多人工智能專業(yè)的教授會將“AIMA”列為主要教材，而這本比磚頭還要厚的“AIMA”其實是一本經(jīng)典的人工智能教材，全稱《人工智能:一種現(xiàn)代的方法》（Artificial Intelligence: A Modern Approach）。智源大會將 AIMA 的合著者之一，加州大學伯克利分校計算機科學教授 Stuart Russell 請到現(xiàn)場，讓他發(fā)布了演講《AI:Some Thoughts》。

這位學術界巨擘并沒有帶著復雜的公式和理論上臺，而是用生動形象的話語為現(xiàn)場觀眾介紹了他的想法。以下為幾大要點:

人工智能具有巨大的潛力和不可阻擋的勢頭。

人工智能的標準模型，會導致人類失去對日益智能的 AI 系統(tǒng)的控制。

證明人工智能的安全性和益處是可行且值得的。

人工智能必須變得更像航空和核能，具備嚴格的安全標準和國際合作。

Russell 指出，人們需要重新理解人工智能，我們不應追求廣義上的超級智能，而是致力于構建對人類有益的機器。因此，解決人工智能問題需要機器遵循兩個原則:為人類的最大利益行事，并了解什么是人類的最大利益。

大型語言模型的設計目標是模仿人類的語言行為，但它們是否具有內(nèi)在目標尚不清楚，這些目標可能與人類目標不一致，也可能對人類有害。人工智能系統(tǒng)應該理解人類的目標并基于此采取行動，而不是簡單地復制和內(nèi)化人類目標。共同目標，則是人們在追求其他目標時所共有的編程背景。

關于人工智能的政策建議，Russell 提出了構建可理解的 AI 系統(tǒng)、利用技術構建透明和可解釋的系統(tǒng)、防止不安全的 AI 系統(tǒng)的部署，并進行整個數(shù)字生態(tài)系統(tǒng)的改革以確保只有安全的系統(tǒng)被部署。在未來，人工智能領域需要類似于航空和核能領域的重大變革，必須在嚴格的規(guī)定和安全標準下進行部署，而這需要全面變革。

演講結(jié)束的問答環(huán)節(jié)中，圖靈獎得主，中國科學院院士姚期智和 Russell 展開了一場尖峰學術討論，他們的對話要點如下:

AGI 尚未實現(xiàn)，大語言模型只是構建 AGI 的一部分。

大語言模型的“黑匣子”是一項致命問題，如果人類無法對這些模型產(chǎn)生的效果和屬性進行理解，那大語言模型就不能像人工智能一樣成為科學。

科技公司為了競爭不顧風險，至今仍在開發(fā)越來越強大的系統(tǒng)。

當前的大語言模型并沒有理解世界，所以它們并沒有真正“回答”問題。

Geoffrey Hinton:

超級智能是當今世界最緊迫的問題!

我不知道要如何預防人工智能未來演化出的「欺騙」能力……我已經(jīng)老了。我希望像你們一樣的青年才俊們，能在未來研究出造福人類的超級智能。

2023北京智源大會的論壇閉幕主題演講由圖靈獎得主、「深度學習之父」 Geoffrey Hinton 進行，這個名字相當重磅，但更加令人深刻的則是 Hinton 的演講本身。今年5月份，谷歌 AI 的「門面」 Geoffrey Hinton 宣布離職，只為暢談人工智能所帶來的風險。Hinton 雖然未能到達北京現(xiàn)場，但卻在大屏幕上成功傳達了他的警告:超級智能的到來比我們想象的更近!

Hinton 的演講圍繞著兩個問題展開:人工神經(jīng)網(wǎng)絡的智能程度會很快超越人類的神經(jīng)網(wǎng)絡嗎?人類是否能控制這么強大的超級智能 AI?對此，Hinton 介紹了一個概念:Mortal Computation。"Mortal"這個詞源于拉丁語 "mortalis"，意為"有限的"、"致死的"或"可死的"，在宗教或哲學上，"mortal"可以表示人類的有限壽命和有限力量，與神性或永恒性相對立。

而 Hinton 的“Mortal Computation”是一種全新的計算模式，與傳統(tǒng)的計算模式不同，“Mortal Computation”拋棄了軟硬件分離原則，并不使用反向傳播來描述神經(jīng)網(wǎng)絡內(nèi)部路徑，具有局限性和不完美性。

Mortal Computation 的意義在于讓計算機實現(xiàn)人類智慧。當前的 AI 大語言模型已經(jīng)將人類的知識學習到了龐大的參數(shù)中，這個過程與硬件無關。所以，只要有兼容指令的硬件，相同的代碼和模型權重就可以直接運行，這就為智慧的永生提供了一個「肉體」。

然而，傳統(tǒng)的軟硬件分離計算方式在能量效率和規(guī)模上非常低效。為了改變這種情況，Hinton 提出了一個新的思路:放棄軟硬件分離的計算機設計原則，將智能實現(xiàn)在一個統(tǒng)一的黑盒子中。這樣一來，能耗和計算規(guī)模都會大幅降低，可以以更高效的方式進行智能計算。

然而，這種新的計算模式也存在一些限制。比如說，它放棄了高效復制權重來復制智慧的能力，也就是放棄了永無止境的復制和傳承智慧。

通過上述的講解，Hinton 解答了第一個問題:人工神經(jīng)網(wǎng)絡的智能程度會很快超越人類的神經(jīng)網(wǎng)絡嗎?而他的最終答案是:超級智能的出現(xiàn)速度可能比他預期更快，可能被惡意利用進行操縱和戰(zhàn)爭。但對于他自己提出的第二個問題——人類是否能控制這么強大的超級智能 AI?Hinton 無法做出回答。

Hinton認為，數(shù)字智能追求更多控制權會帶來許多問題，它們將學會欺騙人類，并且獲取更多權力。他坦言自己已經(jīng)老了，并希望年輕人們能夠研究出真正的超級智能，并提供道德原則以保持控制。Hinton指出，人類有一個微小的優(yōu)勢:“超級智能還未進化。我們創(chuàng)造出了它，所以也可以給它提供道德準則。”

中國 AI 新進程:智源悟道3.0全面開源!

能邀請到數(shù)量如此之多的科技巨星，進行最純粹的學術討論和思想碰撞，這在以前是難以想象的。作為大會主辦方，北京智源人工智能研究院不僅為國際嘉賓們絞盡腦汁，也同時向世界展現(xiàn)了屬于中國的開源 AI 大模型。

6月9日上午，北京時間九點，開幕式及全體大會準時舉行。智源研究院院長黃鐵軍首先發(fā)布了《2023智源研究院進展報告》。報告顯示，2021年6月份發(fā)布的“悟道2.0”大模型，是“中國首個、世界最大”的大模型，參數(shù)高達1.75萬億，在國際范圍得到廣泛的反響。如今，大模型成為了全社會關注的熱點，黃鐵軍院長認為，大模型至少要具備三個特點:

規(guī)模要大，神經(jīng)網(wǎng)絡參數(shù)要達到百億規(guī)模以上;

具備涌現(xiàn)性，產(chǎn)生了預料之外新能力。這是人工智能發(fā)展六七十年來，最有里程碑性質(zhì)的能力;

通用性。大模型應不限于專門問題或者專門的領域，能夠解決各類問題。

介紹完以上特點后，黃鐵軍院長亮相了全面開源的“悟道3.0”系列大模型:

首個支持中英雙語知識、開源商用許可、國內(nèi)數(shù)據(jù)合規(guī)需求的開源語言大模型“悟道天鷹”（Aquila）。

提供“能力-任務-指標”三維評測框架的“天秤”（FlagEval）大模型評測體系。

力求打造大模型時代“新 linux”生態(tài)的 FlagOpen 大模型開源技術體系。

6項“悟道視界”視覺大模型研究成果。

一年一度的智源大會已經(jīng)成為北京、全國乃至全球范圍內(nèi)的一個獨具特色的專業(yè)盛會，而今年的智源大會更是星光璀璨，匯聚了人工智能領域最關鍵的人物、最重要的機構、最核心的話題和最內(nèi)行的觀眾。在未來，超級智能真正問世之際，人類是會回味起科技先驅(qū)們的醒世之言，還是沉溺于便利與舒適的智能生活呢?