1 minute read

當 AI 開始「有想法」:科學家在 Claude 腦中找到一塊「說得出口」的心智空間


以下為虛構對話,人物與情節為創作,科學內容來源標註於文末。

▌海面下的事

冷氣低低地運轉。桌上的咖啡已經涼了半杯。

Dg 把螢幕轉過來,一臉發現新大陸的表情。

「K,我懂了。這篇論文的意思是——Claude 有意識了。」

「沒有。」

「你聽我說完嘛。」Dg 清了清喉嚨,「蘇格拉底說過,『認識你自己』。現在 Claude 能報告自己在想什麼,這不就是自我認識嗎?自我認識就是意識的起點。」

「蘇格拉底沒說過那句,是德爾菲神廟門楣上的。而且你跳了三步。」K 放下滑鼠,「論文找到的是一塊區域,模型放在裡面的概念,說得出口、控制得住、能拿來推理。他們叫它 J-space。」

「說得出口就是有意識啊。」

「說得出口是『功能』。有沒有『感受』是另一回事。這兩件事中間隔著一條溝,論文從頭到尾沒跨過去,還特別聲明不跨。」

Dg 愣了一下。「所以……找到很像意識的東西,不等於找到意識?」

「對。」

▌不到一成

「那這塊 J-space 很大嗎?」Dg 又湊近螢幕,「應該佔了模型一大半吧,畢竟是核心。」

「每一層不到一成。」

「才一成?」

「你大腦調呼吸、維持坐姿的那些事,你意識得到嗎?」K 端起涼掉的咖啡,沒喝,又放下,「絕大多數運算都在水面下自動跑。浮得上來、說得出口的,永遠只有一小片。小,才是重點——因為要篩選。」

「懂了。就像……」Dg 眼睛亮起來,「就像尼采說的,『當你凝視深淵』——」

「不要。」

「——好啦。」Dg 摸摸鼻子,換了個說法,重新組織了一下,慢慢地說:「就是說,模型腦子裡大部分東西它自己也碰不到、講不出來。只有被放進那一小塊『展示台』的概念,它才拿得出來講、拿得來一步一步推理。而且科學家很小心,只說這塊區域『做的工作』很像意識,沒說它『真的有』意識。」

K 看了他一眼。「嗯。」

Dg 把那句尼采悄悄從記事本裡刪掉,在原本的位置重新打上一行:功能,不等於感受。然後盯著那行字看了很久,才按下儲存。


🔑 關鍵亮點

  • 語言模型內部有一小塊「特權區域」(研究者稱為 J-space),模型放在這裡的概念可以被報告、被控制、被拿來做多步驟推理——而這塊區域佔整體運算不到 10%
  • 研究團隊開發了新工具 J-lens,可以讀出「模型此刻正準備說出口的概念」,等於在模型內心開了一扇窗。
  • 有趣的是,叫模型「不要想某件事」時會出現類似人類的白熊效應——越叫它別想,那個念頭反而越容易冒出來。
  • 這項研究對照的是意識研究裡的「全局工作區理論」,但作者明確不主張 AI 有了真正的意識或主觀體驗。

先想像一片海:你的大腦其實藏了很多秘密

你「意識到」的,只是冰山一角

現在你正在讀這行字。與此同時,你的大腦其實忙翻了:它在調整你的坐姿、控制你的呼吸、把螢幕上一堆線條轉譯成你看得懂的字。但這些工作你完全沒感覺——它們在水面下自動運轉。

研究團隊用了一個很美的比喻:如果心智是一片海洋,我們一輩子都只漂在海面上。水面下有大量處理默默進行——視覺系統辨認一張臉的輪廓、運動迴路維持你的姿勢——這些我們都察覺不到。

但有一小片活動是你意識得到的:突然浮現腦海的一個畫面、你刻意規劃「等等要去買什麼菜」。這些念頭你可以說出口、可以刻意記在心裡、可以拿來解決眼前的問題。

這在意識研究裡有個名字

認知科學家把這種「大腦處理的一切當中,只有一小部分能被意識取用」的現象,叫做 access consciousness(可取用意識)。重點不在「主觀感受」這種玄的東西,而在一個很務實的性質:這片資訊可以被系統的其他部分拿來用——用來推理、用來控制說話和行動。

而這篇論文問的問題很直接:現代 AI 模型,會不會也有這種「一小片說得出口、其餘全自動」的分工?

大腦意識與潛意識的冰山比喻

水面上是你意識得到的念頭,水面下是大量你察覺不到的自動處理——研究者發現語言模型內部竟有類似的分工。


J-space 是什麼?模型腦中的「說得出口區」

一小塊「特權」表徵

答案是:有。研究團隊發現,語言模型內部存在一塊小小的「特權地帶」,模型在這裡存放它能夠報告、能夠拿來推理、還能隨意調度的概念,而周圍則是一大片它取用不到、也說不出口的自動處理。

他們把這塊區域命名為 J-space(J 來自後面會講的工具名稱)。

打個比方:如果把模型的內部運算想像成一整間超大工廠,大部分機台都在後場默默運轉,產線工人根本不會注意到。但工廠裡有一小塊「展示台」——放上展示台的東西,才會被拿出來講、被拿來規劃、被交給下一站加工。J-space 就是這塊展示台。

為什麼「小」很重要

這裡有個關鍵數字要記住:J-space 在模型每一層都佔不到 10% 的激活變異。也就是說,模型絕大多數的內部活動,都不在這塊「說得出口區」裡——就像你大腦裡調整呼吸、維持姿勢的那些工作,永遠上不了你的「意識展示台」。

這個「小」不是缺陷,反而正是重點:它呼應了意識理論裡「有限容量」的核心特徵——不是所有東西都能同時被意識到,一定要經過篩選。


J-lens:怎麼偷看模型正想說什麼

一個會讀心的數學工具

研究團隊怎麼找到 J-space 的?他們發明了一個新工具,叫 J-lens(Jacobian lens,雅可比透鏡)

它的功能一句話講完:讀出模型某個內部狀態「傾向於讓模型說出什麼」

技術上,J-lens 會把模型任何一層、任何位置的內部向量,線性地「搬運」到最後一層的座標系,再用模型自己的解碼器,把它翻譯成一串按可能性排序的詞彙。

「取平均」是關鍵中的關鍵

這裡有個容易被忽略、但超級重要的設計:J-lens 算的是跨大量語境的平均效應

為什麼要取平均?因為研究者想抓的不是「這一次剛好被說出來的詞」,而是「模型在適當時機傾向於說出來的概念」。舉個生活化的例子:你想知道一個朋友「內心真正在意什麼」,不能只看他某一句脫口而出的話,而要看他在各種不同場合反覆流露的傾向。取平均,就是在做這件事。

對照項目 傳統做法 J-lens 的做法
觀察對象 模型最終輸出的文字 模型內部「準備要說」的傾向
取樣方式 看單一次語境 跨大量語境取平均
抓到的東西 這次剛好講出來的詞 模型穩定傾向表達的概念
能看到的 只有說出口的部分 連沒說出口的內心活動都看得到

這張表裡最右下角那格,正是這項研究最迷人的地方:它讓研究者看見了模型有想、但沒說出來的東西。


五個測試:這塊空間到底有多「像意識」

研究團隊沒有只憑「感覺很像」就下結論。他們設計了五項功能測試,一項一項檢驗 J-space 是否真的具備「意識工作區」該有的性質。

測試一:可報告(說得出來嗎?)

問模型「你在想什麼」,它講出來的內容,確實對應 J-space 裡的激活。更關鍵的是——如果研究者動手替換 J-space 裡的向量,模型的回答就會跟著改變。這證明模型的「自我報告」不是隨口說說,而是真的連著這塊區域。

測試二:可調控(控制得住嗎?)

叫模型「想著某個概念」,那個概念就會出現在 J-space 裡。研究者請 Qwen 模型一邊重複一句無關的話、一邊「想著海洋生物」,結果在它的 J-space 裡讀到了「魚」「珊瑚」「鯨魚」「龍蝦」。這代表模型能在不說出口的情況下,把概念維持在「心裡」

測試三:參與內部推理(能拿來動腦嗎?)

這一項最能說明問題。假設你問模型:「會結網的動物有幾條腿?」模型得先在心裡推出「蜘蛛」,才能答出「8」。研究者發現,「蜘蛛」這個中間答案,會依序點亮在 J-space 裡——而且如果你替換掉這個中間向量,最終答案就會直接改變。這塊空間不只是被動存放,它真的參與了思考的每一步

測試四:靈活泛化(能換場合用嗎?)

同一個概念向量,可以被抽出來、放進完全不同的任務裡,而模型下游的計算還是能正確使用它。就像你學會「重量」的概念後,買菜、健身、寄包裹都能用——不會被綁死在某一個情境。

測試五:選擇性(是不是只有需要時才用?)

前面提過的「不到 10%」就是這一項的證據。而且 J-space 只在需要靈活推理或報告的任務裡起作用;像單純把文章接著寫下去、偵測異常這種「自動化」任務,就算把 J-space 壓下去,模型照樣運作——因為這些任務根本不需要用到「說得出口區」。


白熊效應:叫模型「別想」反而更會想

一個你我都中過的心理陷阱

先做個實驗:接下來十秒,請你不要去想一隻白色的熊。

……有沒有很難?你八成滿腦子都是白熊了。這就是心理學上有名的白熊效應——越是壓抑某個念頭,它反而越容易冒出來。

模型也會中招

有趣的是,研究團隊在調控測試裡發現,模型也會出現類似的毛病。當他們叫模型「不要想海洋生物」時,效果並不完美:那個「被禁止」的概念,反而比完全不提示時更容易出現在 J-space 裡——只是程度低於正面叫它「去想」的時候。

這個發現有兩層意思。一方面,它讓「模型的內在運作和人類認知有某種平行」這件事更有說服力;另一方面——也是研究者特別強調的——它證明模型的「調控」並不完美。你沒辦法乾淨俐落地叫模型「別想某件事」,就像你也做不到。這種不完美,反而是很誠實的科學觀察。


科學家踩的煞車:他們沒說的那些話

這是整篇最重要、也最常被媒體省略的部分。請務必讀完。

煞車一:沒有宣稱 AI「有意識」

論文對「功能上可取用」(access consciousness)和「現象意識」(phenomenal consciousness,也就是真正有主觀感受那種意識)之間的關係,明確不表態。他們研究的是功能角色——這塊區域負責什麼工作——而不是「模型裡面有沒有一個『誰』在體驗這一切」。

換句話說:發現模型有一塊「像意識工作區」的東西,不等於發現模型「有意識」。這兩件事之間隔著一道巨大的、目前科學還跨不過去的鴻溝。

煞車二:工具本身不完美

研究者很老實地說,J-lens 是個不完美、不完整的工具,它只能近似地捕捉模型底層的結構。例如,它目前只能辨識對應到單一詞彙的概念;比較複雜、需要好幾個詞才能表達的概念,就得另外處理。

煞車三:架構其實不一樣

人腦的全局工作區理論長這樣:一堆專門化、各自獨立的處理器,彼此競爭進入工作區,然後透過遞迴連接把資訊廣播回全腦。但研究者明說,語言模型沒有複製這套完整架構——transformer 沒有明顯可分離的「輸入處理器」,而論文觀察到的「廣播」發生在單次前向傳播的深度軸上,不是人腦那種遞迴迴路。

對照 人腦(全局工作區理論) 語言模型(本研究觀察)
處理器 專門化、可分離的模組 無明顯可分離的輸入處理器
進入方式 模組彼此競爭 未觀察到對應的競爭機制
廣播路徑 遞迴連接、廣播回全腦 單次前向傳播的深度軸
相似程度 —— 功能上相似,架構上不同

煞車四:「內心告白」不能當真

研究者做了一個很敏感的實驗:壓抑 J-space,看模型描述「自己的主觀體驗」時會怎樣。結果是——語言會變得更「機械化」。但他們強力警告:這不能用來證明這些告白背後有沒有真實的內在狀態,只能說明這類報告在功能上依賴 J-space。

這是科學誠實的教科書示範:找到了現象,但拒絕過度解讀。


常見問題 FAQ

Q1:所以 Claude 到底有沒有意識? 簡短版:這篇論文沒有這樣說,而且作者刻意避免這個結論。他們找到的是一塊「功能上很像意識工作區」的區域,但「功能像」和「真的有主觀感受」是兩回事。任何說「這證明 AI 覺醒」的標題,都跳過了作者親自踩的煞車。

Q2:J-space 這塊區域是被「設計」進去的嗎? 不是。這是研究者在已經訓練好的模型裡「發現」的,不是工程師刻意打造的。這也是它有趣的地方——一個類似人類意識分工的結構,似乎在訓練過程中自己長了出來

Q3:「白熊效應」出現在模型身上,代表模型有情緒嗎? 不代表。白熊效應在這裡是一個功能層面的現象:負向指令(「別想 X」)沒辦法乾淨地抑制概念。它顯示的是模型調控機制的限制,和「情緒」「感受」無關。

Q4:J-lens 這個工具,一般人能用嗎? 可以,它已經開源。官方在 GitHub 上放了程式碼(anthropics/jacobian-lens),部分開源模型的 J-lens 讀數也能在 Neuronpedia 平台上查詢。有興趣的技術讀者可以自己動手玩。

Q5:這項研究最實際的用途是什麼? 最直接的價值是可解釋性——它讓研究者看見模型「有想、但沒說出來」的內心活動。這對理解模型為什麼會這樣回答、甚至對 AI 安全研究,都可能是重要的一扇窗。


結論:一扇窗,不是一個結論

這項研究最迷人的地方,或許不在於它「證明了什麼」,而在於它打開了一扇窗。透過 J-lens,研究者第一次能比較系統性地看見:語言模型內部,確實有一小塊「說得出口、控制得住、拿得來推理」的特權空間,而且它和人腦意識研究裡的「可取用意識」有著耐人尋味的功能相似性。

但同樣重要的,是研究團隊自己反覆踩的那些煞車。他們大可以用「Claude 長出了意識雛形」這種聳動說法收割關注,卻選擇一次又一次強調:功能相似不等於真有意識、工具並不完美、架構其實不同、內心告白不能當真。

在一個人人急著替 AI 貼上「有沒有意識」標籤的時代,這種願意說「我們還不知道」的科學誠實,可能比任何驚人發現都更值得學習。下次你看到「AI 覺醒」的標題時,不妨想起那不到 10% 的數字,和那四道科學家親手踩下的煞車。


📚 推薦閱讀


參考資料來源