評論員文章

OpenAI、DeepMind 和 Stability AI 的科學家科普 AI 治理，Google、Meta 和微軟的領航人物共論開源未來，圖靈獎得主與斯坦福、UC Berkeley、MIT 的教授展開學術辯論——這描述的并不是遠在大洋彼岸的 NeurIPS 或 ACL 會議，而是由中國智源研究院主辦的年度盛會:北京智源大會。

今年的北京智源大會于6月9-10日召開，20場論壇、100場報告、頂尖的專家、頂尖的觀眾，匯聚了 AI 領域純粹、專業的前沿思想。OpenAI 創始人 Sam Altman 以及“深度學習三巨頭”中的兩位 Yann LeCun 與 Geoffrey Hinton 現身于分論壇視頻連線的大熒幕上，Max Tegmark 與 Stuart Russell 等來自頂尖學府的教授親赴現場。

(資料圖片僅供參考)

CSDN 在現場參加了這場為時兩天的 AI 盛會。科技大咖智聚京城，共論當前 AI 領域最前沿的爭議焦點:

對 AI 保持樂觀主義的Yann LeCun，認為 AI 還遠遠未發展到還需要操心的程度。GPT 終將過時，未來的 AI 會面臨三大挑戰，解決后將javascript能訓練出「世界模型」（World Model）。

曾用一份“暫停6個月 AI 研究”的公開信震驚業界的Max Tegmark教授則表示，罔顧 AI 的最壞結果將會是人類滅絕。對齊問題將是學術界接下來的一大難題:如此龐大而復雜的智能模型，要怎樣才能保持和人類同一水準的價值觀和道德觀?

一亮相便轟動北京會場的Sam Altman，則發表了一份真誠的呼吁:國際科技界需要團結一心，攜手促進 AGI 安全的透明化，為未來十年內誕生的“超級智能”做好準備。

學術界還有一部分人，對這些圍繞 GPT 的話題并不買賬，而是關心更深遠的 AI 話題。Stuart Russell教授直言，目前的大語言模型缺乏「內部目標」，而人類也不理解它們的“黑匣子”里都發生了什么。

Geoffrey Hinton則帶來了一場精彩絕倫的謝幕演講:“超級智能”已成雛形，但人類尚未給它建立道德準則——現在為時不晚。

SamAltman:

團結全世界的人才治理未來的“超級 AI”!

《道德經》提醒我們，“千里之行，始于足下”，最有建設性的第一步是與國際科技界展開合作，推動增加AGI安全技術進展的透明度和知識的機制，發現緊急問題的研究人員應該與更多人共享研究成果。

“我最近在做全球巡回的訪問，期間穿越五大洲將近20個國家。我接觸了諸多的學生、開發者，這趟出行令人振奮，我們見證了全球各地的人們利用 OpenAI 的新技術來改變生活方式，我們也獲得了非常寶貴的意見，以便于讓我們的工具優化得更好。”

這是 OpenAI 創始人 Sam Altman 的開場白，也是現場觀眾反應最激烈的一刻。Altman 首次在中國發表演講，強調了對人工智能（AI）發展的負責任態度和國際合作的重要性，特別關注全球 AI 安全對齊和監管。他提出管理風險、推進超級智能的安全和治理的方案，并展望了 AI 的潛力和未來。同時，他呼吁全球研究人員的合作，應對技術挑戰，利用 AI 解決全球問題。

Altman 借用《道德經》中的名句“千里之行，始于足下”，呼吁全球開發者共同協作。他還預測，未來10年內“AGI 將會超過90年代初人類所具備的專業水平，這些 AI 系統最終可能超過人類最大體量公司的總體生產力，其潛在收益是巨大的。”

OpenAI 花了八個月的時間來研究如何前置預判風險并制定相應的對策，而 Altman 篤定他們處于正確的道路上前進，因為 GPT-4的對齊程度超過了當前所有的代碼水平。然而，對于更高級的系統，對齊仍然是一個未解決的問題。Altman 重點指出，未來需要新的技術方法和加強治理監督，特別是考慮到 AGI 可能將是一個龐大的二進制代碼系統，實現對齊會是一場挑戰。

此外，Altman 積極評價了中國在人工智能安全對齊方面的重要作用。他認為中國擁有全球頂尖的人才，解決人工智能系統對齊的困難需要來自世界各地的人才共同努力。Altman 表示:“我們看到了美國、中國和世界各地的研究人員合作實現 AI 目標的巨大潛力，大家都致力于解決通用 AI 技術挑戰。我相信我們將能夠利用通用 AI 來解決世界上最重要的問題，并顯著改善人類的生活質量。”

演講結束的問答環節中，智源研究院理事長張宏江詢問了 Sam Altman 關于 AI 的發展近況和全球合作的進展，并對 OpenAI 在 AGI 方面的未來計劃進行了提問。Sam Altman 的觀點如下:

AGI 可能很快會出現，超級智能在未來十年內可能會成為現實。

目前已經取得了一些全球合作的突破，但全球合作仍然面臨困難。

AI 安全性的研究是一個復雜的問題，需要考慮多個因素，并需要大量的投入，希望中國和美國的研究人員能做出貢獻。

當被問及是否打算重新開放 GPT 的源代碼時，Altman 表示已經作出了一定的努力，未來將會有許多開源大模型誕生。但開源模型在 AI 發展中起了重要作用，當模型變得更大時，就更需要謹慎安全問題。

Yann LeCun:

GPT 終將過時，世界模型可以成就真正的 AGI

嬰兒在九個月大的時候就能掌握大量關于世界運作方式的基礎概念:物體的永恒性、世界是三維的、有機物和無機物之間的區別、穩定性的概念、自然分類、重力……而 GPT 這類大模型存在局限，根本無法理解現實世界。

2018年，ACM 公布了圖靈獎得主——Geoffrey Hinton、Yann LeCun和Yoshua Bengio。這三大巨頭同時享譽著深度學習之父的稱號，去年的北京智源大會，就邀請了其中的 Yoshua Bengio。今年，智源邀請了剩下兩位。

楊立昆原本人在美國時就答應了現場參會演講，但由于臨時有事，他不得不前往法國。大會當天上午，楊立昆拒絕了錄制視頻，而是在凌晨四點的法國熬夜，堅持與大家實時交流。

楊立昆的演講題目是《Towards MAChines that can Learn， Reason， and Plan》——我們要怎么打造一個能夠學習、推理和規劃的機器?楊立昆單刀直入，表示 GPT 肯定不行。當前主流的自我監督學習路線存在許多局限，包括缺乏規劃和不合理的輸出等問題。如果想創造一個真正理解世界、理解人類的人工智能，那么就需要另辟蹊徑。

“那么，我們要如何讓機器像動物和人類一樣，理解世界的運作并預測其行為的后果呢?”在這句話之后，楊立昆提出了「世界模型」的概念。世界模型曾被發表于楊立昆一年前的論文《A path towards autonomous machine intelligence》，該模型要先學習世界的表征和預測模型，然后學習推理，最終實現真正的理解、預測和規劃能力。

然而，目前還沒有深度學習方法能夠有效地訓練這樣的世界模型。因此，楊立昆介紹了聯合嵌入預測架構（JEPA），系統性地介紹了這一實現推理和規劃的關鍵。

演講結束的問答環節中，清華大學教授、智源首席科學家朱軍詢問了楊立昆關于 AGI 的看法，問答的要點如下:

楊立昆即將參加一個辯論，與 Joshua Bengio、Max Tegmark 和 Melanie Mitchell 討論人工智能是否會威脅人類生存。

Max Tegmark 和 Joshua Bengio 認為強大的人工智能系統可能對人類構成風險，而楊立昆和 Melanie Mitchell 則持相反觀點。

楊立昆指出，他并不是想說“AI 完全不存在風險”，而是認為“目前的 AI 風險可以被謹慎的工程設計減輕或抑制”。

楊立昆表示自己不能預測超級智能在未來能造成多大的影響，因為超級智能尚未問世。他舉了一個例子:如果你去問一個1930年的航空工程師，“我該如何確保渦輪噴氣發動機的安全可靠性?”那他肯定答不出來，因為渦輪噴氣發動機在1930年還沒被發明出來。

Max Tegmark:

從現在開始加強治理，我們未來才能控制 AI

《暫停巨型 AI 實驗:一封公開信》

我們呼吁所有 AI 實驗室立即暫停對比 GPT-4更強大的 AI 系統的訓練至少6個月。

...

簽字人:

Yoshua Bengio，Mila 創始人兼科學總監，圖靈獎得主，蒙特利爾大學教授

Stuart Russell，伯克利計算機科學教授，標準教科書“人工智能:現代方法”的合著者

Elon Musk，SpaceX、Tesla 和 Twitter 的首席執行官

Steve Wozniak，蘋果聯合創始人

...

Max Tegmark，麻省理工學院人工智能與基礎交互中心，物理學教授，未來生命研究所所長

今年3月22號，一封名單十分豪華的聯名信被遞到了大眾視野面前，而這封信發出者，正是美國非盈利機構未來生命研究所的創始人 Max Tegmark。Tegmark 的演講直接排在了楊立昆之后，6月22日，兩人將在未來展開一場關于 AGI 的現狀和未來的辯論，而這就是辯論的預演。

Tegmark 的演講主題言簡意賅:《Keeping AI under control》——管控人工智能。Tegmark在演講中強調了控制人工智能的重要性。他認為我們需要對人工智能進行深入研究，并保持謹慎和負責任的態度。如果我們無法掌控人工智能，它可能對人類文明構成威脅。

“我提出暫停人工智能研究六個月，并不是因為我反對人工智能。倒不如說，正是因為我看到了人工智能的潛力和可能帶來的改變，我才想更謹慎、更負責任地進行研究。”Tegmark 表達了自己的態度，并提出了兩個關鍵問題:對齊問題和動機問題。

他指出，我們需要確保人工智能能夠真正完成我們的任務，并確保使用人工智能的機構具有正確的動機。此外，我們還必須考慮競爭性風險。因此，在人工智能的發展過程中，我們需要確保所有參與者都共享相同的目標——安全地使用人工智能。

“人工智能是一柄雙刃劍，它能用巨大的潛力幫助我們解決世界上最具挑戰性的問題，但同時也帶來了無法預測的后果和風險。我們必須謹慎前行，確保對這個強大工具安全、有效地利用。”Tegmark 說道。

演講結束的問答環節中，清華大學教授、智能產業研究院院長張亞勤討論了Max Tegmark 的新書《生命3.0》，問答的要點如下:

張亞勤對 Tegmark 提高人們對人工智能風險與挑戰意識表示感謝，并強調發明新技術和控制人工智能以造福人類和社會的重要性。

Tegmark 承認人工智能的增長速度超過了智慧的發展速度，強調需要暫停風險工作，讓智慧趕上發展。

Tegmark 對 AGI 表達了樂觀情緒，但強調需要有意識地引導人工智能朝著與人類價值和情感相一致的未來發展。

Tegmark 認為中國在人工智能監管方面做得最多，其次是歐洲和美國。他建議年輕人注重基礎知識，發展開放思維，并在人工智能時代擁抱跨學科知識。

Stuart Russell:

AGI 前途未知，對齊是目前的首要問題

想讓機器模仿人類，那最簡單的做法就是讓大語言模型也像人類一樣，在說話時帶有目的性。但現在的大語言模型是否具備這種內在目標呢?我曾經問過微軟研究院今年的那篇論文《通用人工智能的火花:GPT-4的早期實驗》的作者，他是這么回答的:“我不知道。”

許多人工智能專業的教授會將“AIMA”列為主要教材，而這本比磚頭還要厚的“AIMA”其實是一本經典的人工智能教材，全稱《人工智能:一種現代的方法》（Artificial Intelligence: A Modern Approach）。智源大會將 AIMA 的合著者之一，加州大學伯克利分校計算機科學教授 Stuart Russell 請到現場，讓他發布了演講《AI:Some Thoughts》。

這位學術界巨擘并沒有帶著復雜的公式和理論上臺，而是用生動形象的話語為現場觀眾介紹了他的想法。以下為幾大要點:

人工智能具有巨大的潛力和不可阻擋的勢頭。

人工智能的標準模型，會導致人類失去對日益智能的 AI 系統的控制。

證明人工智能的安全性和益處是可行且值得的。

人工智能必須變得更像航空和核能，具備嚴格的安全標準和國際合作。

Russell 指出，人們需要重新理解人工智能，我們不應追求廣義上的超級智能，而是致力于構建對人類有益的機器。因此，解決人工智能問題需要機器遵循兩個原則:為人類的最大利益行事，并了解什么是人類的最大利益。

大型語言模型的設計目標是模仿人類的語言行為，但它們是否具有內在目標尚不清楚，這些目標可能與人類目標不一致，也可能對人類有害。人工智能系統應該理解人類的目標并基于此采取行動，而不是簡單地復制和內化人類目標。共同目標，則是人們在追求其他目標時所共有的編程背景。

關于人工智能的政策建議，Russell 提出了構建可理解的 AI 系統、利用技術構建透明和可解釋的系統、防止不安全的 AI 系統的部署，并進行整個數字生態系統的改革以確保只有安全的系統被部署。在未來，人工智能領域需要類似于航空和核能領域的重大變革，必須在嚴格的規定和安全標準下進行部署，而這需要全面變革。

演講結束的問答環節中，圖靈獎得主，中國科學院院士姚期智和 Russell 展開了一場尖峰學術討論，他們的對話要點如下:

AGI 尚未實現，大語言模型只是構建 AGI 的一部分。

大語言模型的“黑匣子”是一項致命問題，如果人類無法對這些模型產生的效果和屬性進行理解，那大語言模型就不能像人工智能一樣成為科學。

科技公司為了競爭不顧風險，至今仍在開發越來越強大的系統。

當前的大語言模型并沒有理解世界，所以它們并沒有真正“回答”問題。

Geoffrey Hinton:

超級智能是當今世界最緊迫的問題!

我不知道要如何預防人工智能未來演化出的「欺騙」能力……我已經老了。我希望像你們一樣的青年才俊們，能在未來研究出造福人類的超級智能。

2023北京智源大會的論壇閉幕主題演講由圖靈獎得主、「深度學習之父」 Geoffrey Hinton 進行，這個名字相當重磅，但更加令人深刻的則是 Hinton 的演講本身。今年5月份，谷歌 AI 的「門面」 Geoffrey Hinton 宣布離職，只為暢談人工智能所帶來的風險。Hinton 雖然未能到達北京現場，但卻在大屏幕上成功傳達了他的警告:超級智能的到來比我們想象的更近!

Hinton 的演講圍繞著兩個問題展開:人工神經網絡的智能程度會很快超越人類的神經網絡嗎?人類是否能控制這么強大的超級智能 AI?對此，Hinton 介紹了一個概念:Mortal Computation。"Mortal"這個詞源于拉丁語 "mortalis"，意為"有限的"、"致死的"或"可死的"，在宗教或哲學上，"mortal"可以表示人類的有限壽命和有限力量，與神性或永恒性相對立。

而 Hinton 的“Mortal Computation”是一種全新的計算模式，與傳統的計算模式不同，“Mortal Computation”拋棄了軟硬件分離原則，并不使用反向傳播來描述神經網絡內部路徑，具有局限性和不完美性。

Mortal Computation 的意義在于讓計算機實現人類智慧。當前的 AI 大語言模型已經將人類的知識學習到了龐大的參數中，這個過程與硬件無關。所以，只要有兼容指令的硬件，相同的代碼和模型權重就可以直接運行，這就為智慧的永生提供了一個「肉體」。

然而，傳統的軟硬件分離計算方式在能量效率和規模上非常低效。為了改變這種情況，Hinton 提出了一個新的思路:放棄軟硬件分離的計算機設計原則，將智能實現在一個統一的黑盒子中。這樣一來，能耗和計算規模都會大幅降低，可以以更高效的方式進行智能計算。

然而，這種新的計算模式也存在一些限制。比如說，它放棄了高效復制權重來復制智慧的能力，也就是放棄了永無止境的復制和傳承智慧。

通過上述的講解，Hinton 解答了第一個問題:人工神經網絡的智能程度會很快超越人類的神經網絡嗎?而他的最終答案是:超級智能的出現速度可能比他預期更快，可能被惡意利用進行操縱和戰爭。但對于他自己提出的第二個問題——人類是否能控制這么強大的超級智能 AI?Hinton 無法做出回答。

Hinton認為，數字智能追求更多控制權會帶來許多問題，它們將學會欺騙人類，并且獲取更多權力。他坦言自己已經老了，并希望年輕人們能夠研究出真正的超級智能，并提供道德原則以保持控制。Hinton指出，人類有一個微小的優勢:“超級智能還未進化。我們創造出了它，所以也可以給它提供道德準則。”

中國 AI 新進程:智源悟道3.0全面開源!

能邀請到數量如此之多的科技巨星，進行最純粹的學術討論和思想碰撞，這在以前是難以想象的。作為大會主辦方，北京智源人工智能研究院不僅為國際嘉賓們絞盡腦汁，也同時向世界展現了屬于中國的開源 AI 大模型。

6月9日上午，北京時間九點，開幕式及全體大會準時舉行。智源研究院院長黃鐵軍首先發布了《2023智源研究院進展報告》。報告顯示，2021年6月份發布的“悟道2.0”大模型，是“中國首個、世界最大”的大模型，參數高達1.75萬億，在國際范圍得到廣泛的反響。如今，大模型成為了全社會關注的熱點，黃鐵軍院長認為，大模型至少要具備三個特點:

規模要大，神經網絡參數要達到百億規模以上;

具備涌現性，產生了預料之外新能力。這是人工智能發展六七十年來，最有里程碑性質的能力;

通用性。大模型應不限于專門問題或者專門的領域，能夠解決各類問題。

介紹完以上特點后，黃鐵軍院長亮相了全面開源的“悟道3.0”系列大模型:

首個支持中英雙語知識、開源商用許可、國內數據合規需求的開源語言大模型“悟道天鷹”（Aquila）。

提供“能力-任務-指標”三維評測框架的“天秤”（FlagEval）大模型評測體系。

力求打造大模型時代“新 linux”生態的 FlagOpen 大模型開源技術體系。

6項“悟道視界”視覺大模型研究成果。

一年一度的智源大會已經成為北京、全國乃至全球范圍內的一個獨具特色的專業盛會，而今年的智源大會更是星光璀璨，匯聚了人工智能領域最關鍵的人物、最重要的機構、最核心的話題和最內行的觀眾。在未來，超級智能真正問世之際，人類是會回味起科技先驅們的醒世之言，還是沉溺于便利與舒適的智能生活呢?