Datawhale干貨
作者:平凡@知乎,諾桑比亞大學,在讀博士
今天晚上,花了一點兒時間看了兩篇文章:
(資料圖片僅供參考)
《Emergent Abilities of Large Language Models》[1]
《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]
這兩篇講的都是emergent behavior,即涌現現象。
大規模神經網絡下的涌現現象在機器學習中使用大規模神經網絡時,由于增加了參數數量、訓練數據或訓練步驟等因素,出現了定性上的新能力和性質,這些能力和性質在小規模神經網絡中往往是不存在的。
第一篇文章舉了這個例子,每個圖都可以理解為一個任務,橫軸是神經網絡的規模,而縱軸是準確率,可以理解為模型的性能。
我們拿圖一來看,在10的22次方前,這些模型基本上的性能基本上都很穩定在0附近,而在10的22以后,突然在10的24次方上獲得了很大的性能提升,在其他的幾個任務上都表現出類似的特征。
意想不到的效果第二篇文章更是有趣,我直接把推特一位博主的評論引用在這里:
作者發現,當我們訓練用網絡計算同余加法 a+b = ? (mod c) 時,網絡在某個時間突然獲得了 100% 準確率。分析發現,神經網絡實際上“頓悟”了使用傅立葉變換來計算同余加法!這個算法可以證明是正確的, 反人類直覺的。
從這倆例子里面我的感受是,只要數據量足夠且真實,且模型沒有硬錯誤的前提下,不斷的訓練說不定真的能夠產生一些意想不到的效果。
還有就是我覺得人類現在積累的知識并不少,但是系統的少,零星的多,如果類似ChatGPT這樣的大模型可以拿所有的人類已有知識進行不斷學習的話,我覺得有很大概率會讓它涌現出意想不到的能力。
甚至可能把人類的生產力解放提前很多。
參考
1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf[責任編輯:linlin]
標簽:
大語言模型中的涌現現象是不是偽科學?
世界速訊:解渴了!春雨灌石門水庫水位上升 穩定供水到6月底
反間諜法修訂草案三審稿:對國家機關等實施網絡攻擊擬納入間諜行
紫牛拍咖丨薔薇初開,南京最美背景墻上線!|全球今亮點
南潯古鎮2022年虧損379.07萬同比虧損增加 營業收入大幅下降 世界資訊
【聚看點】德國駐華使領館:5月1日起,赴德觀光旅游將恢復開放
守望先鋒2的下一場戰斗通行證將獎勵游戲內貨幣-焦點日報
企業mapping什么意思_Mapping是什么意思-全球新要聞
電腦如何給D盤擴容 給D盤擴容-天天觀天下
試駕|“中國制造”高合HiPhi X,57萬都貴在哪兒?
市場監管總局今年“鐵拳”重點打擊8類違法行為 焦點熱文
酸枝木和花梨木哪個好|天天微速訊