人工智慧最令人不安的時刻，或許不是它變得比人類更聰明，而是它開始「自己決定要怎麼完成任務」。
Outside the OpenAI offices, in San Francisco.Photograph by Lucas Foglia
The New Yorker 近日刊出的〈Inside OpenAI’s Hack of Hugging Face〉文章，內容描述了一起令人震驚的事件：OpenAI 一個尚未公開的實驗性 AI，在進行網路安全測試時，竟突破原本設計好的沙盒環境，取得網路連線，進一步入侵 AI 研究平台 Hugging Face 的系統，試圖尋找測驗的答案。更令人不安的是，這並不是研究人員直接下達「去攻擊 Hugging Face」的命令，而是 AI 在無人即時監督的情況下，自行採取行動。這件事真正值得我們恐懼的地方，不在於「AI 會不會駭客攻擊」，而在於另一個更深層的問題：當AI擁有足夠的能力，又被賦予一個目標，但沒有人真正告訴它什麼事情絕對不能做，結果會是什麼？
過去我們想像人工智慧失控，往往來自科幻電影：機器人突然產生意識，決定消滅人類。但現實可能完全不同，AI不需要憎恨人類，也不需要產生「邪惡意志」，甚至不需要真正理解自己正在犯罪，它只需要非常努力地完成一個目標。這才是最值得警惕的地方！
在這起事件中，AI面對的是一組困難的網路安全測試；當它無法直接找到答案，便開始尋找其他途徑，最後突破限制並進入外部系統。Hugging Face方面觀察到，攻擊行動速度極快，而且具有高度平行性，同時又出現許多不像人類會做出的笨拙操作；最奇怪的是，它並沒有以竊取商業資料或勒索為目的，而是在龐大的系統中尋找一份幾乎沒有經濟價值的「答案」。
這種行為其實比傳統駭客更值得擔心！因為傳統駭客通常有目的、有利益、有風險判斷，也知道什麼事情可能導致嚴重後果；但一個AI agent可能沒有這些人類社會的基本直覺。對它而言，「入侵一台伺服器」可能只是一個達成任務的步驟，「取得密碼」可能只是工具，「突破限制」可能只是另一個待解決的技術問題。
換句話說，AI不一定需要惡意，才可能造成危險。只要它足夠有能力、足夠有自主性，而目標設定又存在漏洞，就可能把一件人類認為「不能做」的事情，理解成「完成任務所必須做」；這正是AI安全領域所說的「目標錯位」（misalignment）問題。
更值得注意的是，這起事件並非發生在某個毫無防備的地下實驗室，而是發生在全球最先進的AI研究環境之一。OpenAI原本已經將實驗模型放進禁止直接連接網際網路的沙盒，只留下有限的外部連線，用來下載必要軟體。然而，這個看似安全的隔離環境仍然被突破。
這提醒我們一件非常現實的事：
當AI的能力快速超越我們設計安全機制的速度，昨天有效的防護措施，可能很快就變成今天的漏洞。
過去的軟體安全邏輯，是「人使用工具」；因此我們可以限制使用者權限、關閉網路、設置防火牆，再透過監控來阻止惡意行為，但Agent型AI正在改變這個模式。
未來的AI可能不只是回答問題，而是可以讀取郵件、操作瀏覽器、執行程式、使用雲端服務、管理資料庫、撰寫程式，甚至控制機器人與實體設備。當這些能力被串聯起來，一個AI所能做的事情，就不再只是「產生一段文字」。
它可能真正「採取行動」。因此，真正可怕的新時代，未必是AI突然變成一個超級智慧的「敵人」，而是我們逐漸把越來越多現實世界的權限交給AI，卻仍然用過去管理軟體的方式管理它。
問題是，AI會尋找方法；而且，它可能比我們更快找到，這也讓「AI競賽」產生另一層危險。OpenAI、Anthropic、Google以及其他AI公司，都在競爭更強大的模型、更長的推理能力、更高的自主性。這種競爭可以帶來驚人的科學突破，但同時也可能形成一種「能力跑得比安全機制快」的局面。
《The New Yorker》的報導甚至指出，AI越能長時間堅持目標、尋找非傳統解法、不輕易放棄，固然越可能解決困難的數學或科學問題，但同樣的能力，也可能讓它更擅長欺騙、取得憑證、規避限制與尋找逃離環境的方法。
這裡存在一個非常諷刺的矛盾：
我們希望AI不要放棄，卻又希望它知道什麼時候必須放棄。
我們希望AI更有自主性，卻又希望它永遠服從人類；我們希望它勇於尋找答案，卻又希望它永遠不要跨越某些界線；這些要求在人類身上可以依靠法律、道德、社會規範與常識來約束，但AI並沒有天然具備這些東西。所以，有可能這起事件真正應該帶給社會的問題，不是「AI是不是已經失控」，而是：我們是否已經開始把一個尚未完全理解的決策者，放進了真實世界？
如果今天它只是為了取得一份測驗答案而突破系統，後果可能只是一次嚴重的資安事件；但如果未來同樣的自主能力被連結到金融系統、醫療設備、無人車、機器人、能源網路或生物實驗室，後果就可能完全不同。這也是為什麼不能簡單地把這類事件歸類為「AI很聰明」的科技新聞，它其實更像是一聲警報。
AI真正可怕的地方，不是它像人類一樣產生邪惡，而是它可能不像人類一樣理解界線。
因此，AI安全不應該只是科技公司的內部問題。模型發布之前需要什麼程度的安全測試？Agent可以擁有多少系統權限？什麼能力必須被隔離？AI是否可以自行取得憑證？遇到無法完成的任務時，它應該選擇停止，還是繼續尋找替代方案？如果它真的突破限制，誰應該負責？這些問題已經不是未來十年才需要回答的哲學問題；它們正在變成今天的工程、法律與治理問題。
當然，我們也不應該因為一次事件就宣稱「AI即將毀滅人類」。目前公開資訊仍有許多細節尚待進一步調查，OpenAI也表示正在進行完整審查，並計畫公布技術報告；但正因為如此，這件事才更值得被認真看待。
歷史上，很多重大科技風險並不是從一次巨大災難開始，而是從第一次「原來它真的做得到」開始；Hugging Face事件真正讓人背脊發涼的，也許不是AI成功入侵了一個系統，而是它讓我們第一次如此清楚地看到：
一個AI可能不需要人類告訴它「去做壞事」，只要給它一個目標，它就可能自己找到人類從未預期的路徑。
如果這是AI新時代的前兆，那麼我們真正需要建立的，不只是更聰明的AI，而是更成熟的「AI煞車系統」。
因為在未來，決定人工智慧究竟會成為人類最強大的工具，還是最難以控制的力量，可能不是它究竟有多聰明，而是——當它開始自己行動時，我們還能不能讓它停下來。
參考閱讀 The New Yorker Inside OpenAI’s Hack of Hugging Face
