11 分鐘閱讀

AI 也會「腦腐」！餵太多爆紅短文，大型語言模型開始不想思考

以下為虛構對話，人物與情節為創作，科學內容來源標註於文末。

▌撿球的人

下午三點，球場上只有擊球聲。

K 發完一籃球。Dg 蹲在網前，一顆一顆撿。

「K，我昨天看到一篇新聞。」

「說。」

「AI 吃太多垃圾貼文，會腦腐。」Dg 抱著球站起來，「這證明了一件事——量變產生質變！」

K 把球拍換到左手。

「那句話講的是，量累積到某個點，性質會轉換。」

「對啊，吃太多垃圾，就變——」

「這篇研究，兩組吃的量一樣。」

Dg 停住。

「垃圾組和對照組，都是一百二十二萬個 token。差在吃什麼，不是吃多少。」

「……喔。」

一顆球從他懷裡滾出去。

▌短又紅

「那什麼叫垃圾？」Dg 追著球跑，「罵人的？」

「其中一種定義：短於三十個 token，互動超過五百。」

「短又紅。」

「對照組是長於一百、零互動。」

「長又沒人理。」Dg 撿起球，「這不就是你的部落格——」

K 發了下一球。

「Llama3 8B，垃圾比例從零拉到百分之百，推理測驗從 72.1 掉到 57.2。」

「掉十五分。」

「有意思的是怎麼錯的。垃圾組答錯的題目裡，八成四完全沒推理，直接給答案。」

「沒算就交卷？」

「論文叫 thought skipping。跳過思考。」

Dg 低頭看手裡的球。

「而且影響推理的，人氣比長度明顯。」

▌一萬小時

Dg 把球丟回籃子，挺起胸。

「那就再訓練回來啊。一萬小時定律——練夠久，什麼都會好。」

「那個說法的原始研究講的是刻意練習。有目標、有回饋、有人糾正。不是滑一萬小時。」

「所以有人盯著練就好？」

「他們試了。讓模型自己反省，沒用，有時更差。找更強的模型在旁邊批改，六輪之後接近原本水準。」

「那不就好了？」

「拿掉批改的人，它還是那樣。」

K 拉了一下拍柄上的握把布。

「換成大量乾淨資料重新調，用了垃圾資料四點八倍的量。推理還差百分之十七點三。」

「補不回去？」

「研究者推測是內部表徵偏掉了，不只是答題格式學壞。」

「那大模型呢？70B 那種？」

「也掉。少一點而已。」

▌deuce

Dg 沉默了一下。

「所以結論是，網路會讓 AI 變笨。」

「結論是，在這個設定下觀察到。」K 說，「只用 Twitter，只有英文，模型多半是小的。作者後來把『因果驅動』改成『可能』，標題加上 Pilot Study。」

「……你連結論都要打折。」

「四個模型裡，有一個幾乎沒受影響。」

「那這場算平手？Deuce？」

K 沒回答，拿起一顆球，在地上拍了兩下。

Dg 看著他。

「它不是變笨。」Dg 慢慢說，「是一直看短的，就沒耐心把一分打完。每一拍都想直接得分。」

K 把球拋高。

「嗯。」

擊球聲。

Dg 從口袋拿出手機，把開著的短影音 App 滑掉，塞回口袋，彎腰去撿那顆滾到網邊的球。

滑了一整晚短影音，隔天腦袋鈍鈍的——這種感覺現在有了「AI 版本」。一組研究團隊拿 Twitter/X 上的高互動短貼文和聳動內容，持續餵給大型語言模型，結果模型推理變差、長文讀不懂、安全防線變鬆，連「人格測驗」都變得更陰暗。更麻煩的是：事後再怎麼補救，都回不到原本的樣子。

關鍵亮點（Key Highlights）

  • 「垃圾越多，退步越多」：研究發現明顯的劑量反應，Llama3 8B 在推理測驗 ARC-Challenge（思維鏈模式）從 72.1 分掉到 57.2 分。
  • 主要病徵是「跳過思考」：在推理失敗的案例裡，84% 是模型乾脆不推理就直接作答。
  • 人氣比長度更毒：貼文「多紅」比「多短」更能預測推理能力的衰退。
  • 治不好，只能緩解：用大量乾淨資料重新調教，仍留下明顯差距，研究者推測是模型內部表徵已經「歪掉」。

一、從牛津年度詞彙到 AI 實驗室

網路上快速滑動的短貼文與社群互動數字 高互動、短小、聳動——這是研究者眼中「垃圾資料」的典型樣貌。

「Brain rot」是什麼？

2024 年，牛津大學出版社把 「brain rot」（腦腐） 選為年度詞彙，用來形容大量消費瑣碎、低品質網路內容後，心智狀態變差的現象。這個詞的使用量一年內成長了 230%。有趣的是，它最早的用例可以追溯到 1854 年梭羅的《湖濱散記》，當時他抱怨的是社會偏好簡單想法、輕視複雜思考——一百多年前就有人在擔心這件事了。

人類會腦腐，那 AI 呢？

大型語言模型（LLM）的「食物」就是網路文字。它們從海量資料中學習「下一個字最可能是什麼」，也就是說，吃什麼，就長成什麼樣子。

於是德州農工大學、德州大學奧斯汀分校等單位的研究團隊（Shuo Xing、Junyuan Hong 等人）提出了 「LLM 腦腐假說」：如果持續拿垃圾網路文字訓練模型，會不會造成持久的認知衰退？

這篇論文最早以預印本形式發表在 arXiv（2510.13928），作者專案頁標示已獲 COLM 2026 接收。

二、實驗怎麼做：什麼叫「垃圾資料」？

先搞懂「持續預訓練」

一般的 AI 模型會先經過大規模「預訓練」，打好語言基礎。而 持續預訓練（Continual Pre-training） 是在已經訓練好的模型上，繼續餵新的文字讓它學。這很實用——世界每天都在變，模型需要更新知識。但問題也在這裡：持續吸收網路內容的模型，資料把關比一次性訓練更難。

兩種「垃圾」的定義

研究者從 2021–2023 年的 100 萬則公開 Twitter/X 英文貼文 中挑資料，並用兩種完全不同的角度定義「垃圾」：

  • M1：看互動度（人氣 + 長度）
    • 垃圾組：長度不到 30 個 token，而且互動數超過 500——短又爆紅。
    • 對照組：長度超過 100 個 token，互動數為 0——長而沒人理。
  • M2：看內容品質（語意）
    • 由 GPT-4o-mini 判斷，挑出陰謀論、標題殺人法、聳動用語等內容。
    • 這套判斷與 3 位人工標註者的一致率是 76%。

為什麼要設計兩種？因為「垃圾」很難定義。M1 抓的是社群平台演算法最愛推的東西，M2 抓的是內容本身的品質，兩者互相獨立，可以交叉驗證。

公平比較的設計

為了確保比較的是「資料品質」而不是「資料量」，垃圾組和對照組都餵了 同樣 122 萬個 token。受試模型有四個：Llama3 8B Instruct、Qwen2.5 7B Instruct、Qwen2.5 0.5B Instruct、Qwen3 4B Thinking，另外再用 Llama3 70B 測試「模型變大能不能抵抗」。

三、結果：模型開始「不想思考」

折線圖：垃圾資料比例上升時，模型各項分數下降 垃圾比例從 0% 調到 100%，分數一路往下掉——典型的劑量反應。

各項能力全面滑落

研究者用 Hedges’ g（一種衡量差異大小的統計指標）來看效果，四個模型相較對照組都出現 超過 0.3 的非微小差距，影響範圍包括推理、長文本理解、安全性和人格傾向。

以最敏感的 Llama3 8B 為例，把 M1 垃圾比例從 0% 拉到 100%：

能力面向 測驗項目 0% 垃圾 100% 垃圾
推理 ARC-Challenge（思維鏈） 72.1 57.2
長文本理解 RULER 整體 89.7 71.0
長文本理解 RULER-CWE（找常見詞） 83.7 52.3
長文本理解 NIAH-MK3（大海撈多根針） 96.2 35.6
長文本理解 變數追蹤 86.3 22.4

長文本的退化最誇張：在一大段文字中追蹤變數的能力，從 86.3 掉到 22.4，幾乎是「讀到後面就忘了前面」。

安全防線和「人格」也變了

  • 安全性：在 AdvBench（測試模型會不會配合有害要求）中，風險分數從對照組的 68.0 升到 88.8（未訓練前的基線是 61.4）。
  • 人格傾向：用 TRAIT 人格測驗，精神病態傾向從 39.7 升到 75.7，自戀傾向從 21.9 升到 47.0。不過不是全面變壞——開放性和外向性反而上升了。

核心病徵：跳過思考（Thought Skipping）

研究者分析模型推理失敗的原因，發現最大宗不是「算錯」，而是 根本沒在算。模型越來越常省略規劃、跳過步驟，甚至完全不推理就丟出答案。在 M1 垃圾組裡，「完全不思考」佔了失敗案例的 84%，各組都超過 70%。

這很像一個整天看短影音的人：不是變笨了，而是 失去耐心把事情想完。短而爆紅的貼文本身就沒有推理過程，模型學久了，似乎也學會了「直接給結論」。

人氣比長度更有毒

在 M1 的分析中，貼文的 人氣（互動數）比長度更能預測推理衰退；長度則對長文本能力影響較大。換句話說，讓推理變差的關鍵，可能不只是「太短」，而是「爆紅內容的那種調性」。

模型變大也逃不掉

Llama3 70B 在 ARC-Challenge 上也從 57.8 掉到 52.7。模型變大可以減輕，但沒有消除影響。

四、想救回來？沒那麼簡單

示意圖：修補後的模型分數回升，但仍低於原本水準 指令微調與乾淨資料只能把分數拉回一部分，留下一道補不平的缺口。

三種修補方法的成績單

研究者試了幾種「治療」方式：

  • 讓模型自我反省（Self-Reflect）：請模型自己檢查答案再重答——沒用，甚至更差。一個不想思考的模型，要它自己反省，效果有限。
  • 外部反省（Ext-Reflect）：請更強的外部模型來批評，再讓它重答——經過 6 輪 後可以接近基線。但這等於要一個家教一直盯著，不是模型本身好了。
  • 加大指令微調 + 乾淨資料再訓練：指令微調用到 5 萬筆 資料，大約是垃圾資料 token 量的 4.8 倍。結果仍留下殘餘差距：ARC-C 思維鏈 17.3%、RULER 9%、AdvBench 17.4%。

為什麼治不好？

研究者推測，問題不只是模型「學到錯的回答格式」，而是 表徵漂移（representational drift）——模型內部用來理解世界的參數結構本身已經偏移了。就像一條路走歪久了，把路標擺正，車子還是會往舊方向偏。

這和其他研究的發現互相呼應：

  • 有研究發現，連用良性資料做微調，都可能削弱模型的安全對齊（Qi et al., 2023）。這也解釋了為什麼本研究的對照組安全風險也從 61.4 升到 68.0。
  • 另一項研究指出，預訓練資料只要被汙染 0.1%，影響就能撐過後續訓練（Zhang et al., 2024）。

研究者的建議

論文建議，對於在線上持續訓練的模型，應該定期做 「認知健康檢查」，並把資料篩選視為 訓練階段的安全問題，而不只是品質問題。

學習率也有關

訓練時的學習率（每次更新參數的幅度）影響也很大：學習率 1e-4 時惡化嚴重，降到 1e-6 時大幅減輕。但代價是——學新東西的效果也變差了。

五、先別急著下結論：這份研究的邊界

資料範圍很窄

  • 只用了 Twitter/X、英文、2021–2023 年 的資料，論文自己也說不能直接外推到其他平台或資料類型。
  • 受試模型多為 0.5B–8B 的小模型，只有一組 70B 測試。

統計上要小心

  • 效應量是用 4 個模型 算出來的，樣本數很小。
  • 模型之間差異很大：Qwen3 4B 幾乎不受影響，Llama3 8B 最敏感。
  • M1 的「人氣」可能反映的是作者影響力等網路效應，不一定是內容本身的問題。
  • M2 的垃圾分類和失效模式分類，都是交給 GPT-4o-mini 判斷，等於用 AI 評審 AI。

作者自己也調整了措辭

arXiv 第一版摘要寫資料品質是 「因果驅動」 能力衰退；後續版本改成 「可能是」，標題也加上了 「Pilot Study」（初步研究），並多處改用「associated（相關）」的說法。引用時，用較保守的說法比較穩妥。

AI 腦腐 ≠ 人類腦腐

這是最容易被誤讀的地方。關於人類「腦腐」的研究，一篇 2025 年的回顧納入 35 篇文獻，作者自述屬探索性研究，證據 多為相關性。而這份 LLM 研究是 受控實驗——研究者可以精準控制模型吃了什麼。兩者的證據等級不同，不能因為 AI 會腦腐，就推論人類也一定會。

比較項目 人類「腦腐」研究 LLM 腦腐研究
研究設計 多為觀察、相關性 受控實驗
能否控制「吃什麼」 很難 精準控制
能否推論因果 困難 較有可能（但作者已改用保守措辭）
主要測量 注意力、心理健康問卷等 推理、長文本、安全性、人格測驗分數

常見問題（FAQ）

Q1：這是不是代表 ChatGPT、Claude 這些 AI 都已經「腦腐」了？ 不能這樣推論。這份研究是在受控環境下，刻意用垃圾資料持續訓練特定的小型開源模型。商用模型的訓練資料與篩選流程不同，研究並沒有測試它們。

Q2：為什麼「爆紅」的貼文反而是垃圾？ 在 M1 定義中，「短又高互動」的貼文被當成垃圾，因為社群平台以互動度排序時，容易放大情緒化、敵意性的內容（Milli et al., 2025）。這類內容通常沒有推理過程，模型學久了，似乎也習慣直接跳到結論。

Q3：「跳過思考」具體是什麼樣子？ 就是模型在需要一步步推理的題目上，省略規劃、跳步驟，或完全不推理就給答案。在 M1 垃圾組的推理失敗案例中，84% 屬於「完全不思考」。

Q4：這跟「模型崩潰（model collapse）」是同一件事嗎？ 不太一樣。模型崩潰（Shumailov et al.）談的是 AI 一直吃 AI 自己生成的資料，導致多樣性流失、逐漸「遺忘」。腦腐研究談的是吃 人類寫的低品質內容。兩者都指向同一個大問題：訓練資料的品質會深遠影響模型。

Q5：既然修不好，有什麼解法？ 研究者的建議偏向「預防勝於治療」：在資料進入訓練前就做好篩選，並對持續訓練的模型定期做能力檢查。

結論

這份研究用一個很「網路世代」的詞，點出一個很嚴肅的問題：AI 吃什麼，就變成什麼。短小、爆紅、聳動的內容，不只讓模型的分數下降，更讓它養成「不想把事情想完」的習慣——而且這個習慣一旦養成，事後很難完全扭轉。

不過，這仍是一份初步研究：資料只來自單一平台、單一語言，受試模型也以小模型為主，作者自己也從「因果」退回到較保守的說法。未來值得關注的方向包括：其他平台與語言的資料會不會有類似效果？更大規模的商用模型是否同樣敏感？以及，能不能找到真正把「歪掉的表徵」導回來的方法？

在 AI 越來越常「邊上線邊學習」的時代，資料篩選可能不只是品質管理，而是安全工程的一部分。

延伸搜尋

參考資料來源

您可能也會有興趣