我們所不知的未來

報告把目光投向人類等級 AGI 這個里程碑之後,探問在後 AGI 世界裡,AI 本身會如何繼續發展。這條連續光譜的終點 —— 通用人工智慧(Universal AI)—— 在理論上已被充分理解,為一個原本偏向臆測的問題提供了形式上的依據。

判定這些阻力究竟無關緊要還是舉足輕重,衍生出一連串具體而開放的研究問題。

AGI、ASI、UAI

AGI —— 人類等級

「人類等級通用人工智慧」的簡稱:一個大致與單一人類同等聰明的系統,在多數認知任務上達到人類中位水準。第一個 AGI 在許多狹窄任務上其實已超越人類,只是還不夠通用。

ASI —— 超人類且通用

人工超智慧在幾乎所有任務與領域都具備超人類能力。報告刻意把門檻設高:必須超越大型、協調良好的人類專家集體。因此像 AlphaFold 或 AlphaGo 這類狹窄超人類系統,並不算 ASI。

UAI —— 理論極限

通用人工智慧是理論終點,透過 AIXI 代理形式化;依定義,它最大化智慧的 Legg-Hutter 分數。它不可計算,只能由越來越強大的 ASI 從下方逼近。

一把通用量尺

Legg-Hutter 分數把智慧形式化為:一個代理在所有可計算任務上的平均表現,而較簡單的任務(柯氏複雜度較低)權重較高。

關鍵在於,這讓智慧成為一條連續光譜。我們不需要一條明確的界線去切開 AGI 與 ASI —— 重要的是兩者之間的分數差距很大,而本報告的各條路徑與阻力,就在這段差距之內展開。

值得記住的但書

  • AIXI 是一種學習演算法 —— 正確的比較對象是某種架構與訓練演算法,而非單一已訓練的模型。
  • 任務集合可以縮限到「當前與未來人類關注」的任務,而非所有可計算任務。
  • 真實系統可能是「鋸齒狀」的:在某些任務上超人類,在另一些任務上卻不如人。
  • 這些定義都是相對於人類基準,而這個基準本身會隨工具與知識進步而移動。

連 ASI 也躲不掉的硬限制

超智慧不等於全能。即使遠遠超越人類等級 AGI,有些天花板仍無法靠工程繞過(表 2):

  • 基本物理 —— 例如光速。
  • 在世界中行動的即時性限制。
  • 對物質進行物理操作的極限。
  • 不可化約的知識不確定性。
  • 計算複雜度 —— 例如 P 對 NP。
  • 邏輯極限 —— 例如哥德爾不完備定理。

所以 ASI 未必能治癒老化、用奈米機器人重塑物質、上傳人腦,或建造戴森球。進展會在何處、在哪個能力水準上趨於平緩,依舊非常難以預測。