大語言模型中的涌現現象是不是偽科學？
Datawhale干貨
(資料圖片僅供參考)
作者：平凡@知乎，諾桑比亞大學，在讀博士
今天晚上，花了一點兒時間看了兩篇文章：
《Emergent Abilities of Large Language Models》[1]
《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]
這兩篇講的都是emergent behavior，即涌現現象。
大規(guī)模神經網絡下的涌現現象在機器學習中使用大規(guī)模神經網絡時，由于增加了參數數量、訓練數據或訓練步驟等因素，出現了定性上的新能力和性質，這些能力和性質在小規(guī)模神經網絡中往往是不存在的。
第一篇文章舉了這個例子，每個圖都可以理解為一個任務，橫軸是神經網絡的規(guī)模，而縱軸是準確率，可以理解為模型的性能。
我們拿圖一來看，在10的22次方前，這些模型基本上的性能基本上都很穩(wěn)定在0附近，而在10的22以后，突然在10的24次方上獲得了很大的性能提升，在其他的幾個任務上都表現出類似的特征。
意想不到的效果第二篇文章更是有趣，我直接把推特一位博主的評論引用在這里：
作者發(fā)現，當我們訓練用網絡計算同余加法 a+b = ? (mod c) 時，網絡在某個時間突然獲得了 100% 準確率。分析發(fā)現，神經網絡實際上“頓悟”了使用傅立葉變換來計算同余加法！這個算法可以證明是正確的， 反人類直覺的。
從這倆例子里面我的感受是，只要數據量足夠且真實，且模型沒有硬錯誤的前提下，不斷的訓練說不定真的能夠產生一些意想不到的效果。
還有就是我覺得人類現在積累的知識并不少，但是系統(tǒng)的少，零星的多，如果類似ChatGPT這樣的大模型可以拿所有的人類已有知識進行不斷學習的話，我覺得有很大概率會讓它涌現出意想不到的能力。
甚至可能把人類的生產力解放提前很多。
參考
1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf標簽：
相關文章
mfcclub粉絲登錄會員_mfcclub會員怎么進入登錄-環(huán)球熱資訊
?1、MFC平臺掛賣易物點在帳戶上如何操作?。本文到此分享完畢，希望對大家有所幫助。
華大智造(688114)2022年報和2023年一季報點評：一季度受自動化產品需求萎縮影響 測序儀全球開拓放量可期-全球今頭條
?華大智造(688114)2022年報和2023年一季報點評：一季度受自動化產品需求萎縮影響測序儀全球開拓放量可期
解讀 | 6月1日起 四川工商業(yè)電力用戶電價電費再起變化 今日快訊
?2023年4月24日，《四川省發(fā)展和改革委員會關于調整我省分時電價機制的通知》川發(fā)改價格規(guī)[2023]186號（以下
幣安美國終止收購已破產加密貨幣經紀公司Voyager
?App4月26日消息，已破產的加密貨幣經紀商VoyagerDigitalLtd表示，幣安美國已經終止了收購該公司的協(xié)議。“
焦點熱門:中國駐蘇丹大使館發(fā)布：關于中國公民自蘇丹向埃及撤離的提醒
?中國駐蘇丹、埃及使館密切關注、積極協(xié)助中國公民撤離蘇丹、入境埃及，駐埃及使館已派工作組前往埃及南部高
花園生物（300401）：4月25日北向資金減持53.7萬股 世界熱消息
?4月25日北向資金減持53 7萬股花園生物。近5個交易日中，獲北向資金減持的有4天，累計凈減持130 83萬股。近2
環(huán)球新動態(tài)：pickup是什么意思啊 pickup是什么意思
?今天來聊聊關于pickup是什么意思啊，pickup是什么意思的文章，現在就為大家來簡單介紹下pickup是什么意思啊，
每日精選：國金證券：2023年第一季度凈利潤約5.97億元 同比增加380.09%
?國金證券（SH600109，收盤價：8 67元）4月25日晚間發(fā)布一季度業(yè)績公告稱，2023年第一季度營收約19 52億元，
鄭州新鄭綜保區(qū)一季度外貿進出口值持續(xù)保持千億元
?大河網訊記者從河南鄭州航空港獲悉，2023年一季度鄭州新鄭綜保區(qū)累計完成外貿進出口總值1105 85億元，連續(xù)
聚焦：智能水表遠程抄表系統(tǒng)品牌_智能水表遠程抄表系統(tǒng)
?1、微功率無線遠程抄表系統(tǒng)賽康科技：微功率無線遠程抄表系統(tǒng)包括：無線通信模塊、采集器、集中器、智能斷
2023上海車展：豪華新能源的“天花板” 靜態(tài)體驗邁巴赫EQS SUV
?這臺邁巴赫EQSSUV的動力總成目前得到的消息，最大功率470kw，CLTC續(xù)航里程是600km，空氣懸架，四輪轉向功能
北京銀行上海分行創(chuàng)新產品賦能科創(chuàng)企業(yè)
?北京銀行上海分行與上海國際知識產權運營管理有限公司日前簽署知識產權質押貸款業(yè)務合作備忘錄，發(fā)布“科知
貴州茅臺：一季度凈利同比增20.59% 當前關注
?【貴州茅臺：一季度凈利同比增20 59%】貴州茅臺(600519)4月25日晚間披露一季報，一季度實現營業(yè)收入387 56
中原傳媒2023年第一季度凈利1.01億 較上年同期增長4.89%|環(huán)球熱消息
?中原傳媒2023年第一季度凈利1 01億較上年同期增長4 89%2023 4 2518:59:13挖貝網春雨挖貝網4月25日，中原傳媒（00071
摩根動力精選混合A：一季度跑輸業(yè)績基準逾11%
?摩根動力精選混合A近日披露的2023年一季報顯示，該基金一季度凈值下跌9 64%，跑輸業(yè)績比較基準11 13個百分
新華都2023年一季度營收6.77億元 歸母凈利潤0.64億元
?觀點網訊。4月25日，新華都科技股份有限公司發(fā)布2023年第一季度報告。觀點新媒體獲悉，期內，新華都實現營
寶馬8系回到了德國汽車制造商的2019年車型陣容-世界速訊
?在缺席21年之后，寶馬8系回到了德國汽車制造商的2019年車型陣容。20208系列有轎跑車，敞篷車和GranCoup
上工申貝（600843）4月25日主力資金凈賣出32.39萬元|每日精選
?截至2023年4月25日收盤，上工申貝(600843)報收于4 82元，下跌1 03%，換手率0 7%，成交量3 28萬手，成交額1579 32萬元。
新疆伊犁州新源縣發(fā)生3.3級地震 震源深度11千米|新動態(tài)
?中國地震臺網正式測定：04月24日22時13分在新疆伊犁州新源縣（北緯43 31度，東經83 68度）發(fā)生3 3級地震，
