(看完覺得很抖，因為中國那邊也在瘋狂發展ＡＩ)

轉

顧家祈

這是 OpenAI 四巨頭的合照。

左邊是技術長 Mira Murati，現在暫任 CEO。
中間靠左是 Sam Altman，他旁邊是 Greg Brockman，昨天以前是 CEO 跟董事長身份，今天雙雙「被離職」。

右邊是這次發動閃電作戰的主要人物，Ilya Sutskever，也是 OpenAI 的首席科學家。

Ilya 是「AI 教父」 Geoffrey Hinton 實驗室的學生，沒有 Hinton 就沒有現在的類神經網路。沒有 Ilya 也不會有現在的 ChatGPT。

創辦 OpenAI 之前，Ilya 不管在 AI 的圖像辨識或是語言翻譯上面，都有超好的成果，2013 年進到 Google Brain 擔任科學家。

2015 年，Sam Altman 和 Greg Brockman 邀請 Ilya 一起創辦 OpenAI，Google 知道後，開出高於 OpenAI 兩三倍的薪水--接近兩百萬美元，想留住 Ilya，但 Ilya 還是決定投入當時仍然非營利的 OpenAI。

今年 ChatGPT 爆紅後，Ilya 跟 Sam 開始有一些矛盾出現，最主要是出在「安全性」上面。
Ilya 很早就覺得 AI 產生了「意識」，然後最近的發展讓他越來越不安，覺得我們對 AI 限制的工具比不上 AI 進步的速度，遲早會出現大問題。

所以他在今年七月時，在 OpenAI 內部成立了新的團隊，希望要好好研究「超級對齊」（Superalignment），來確保未來的「超級 AI」不會失控。

但 AI 實在太紅，到 OpenAI Dev Day 達到了高峰，Sam altman 也對外宣佈了要開始訓練下一世代的 GPT-5、並準備開始募資。

在這個關鍵時刻，Ilya 忍不住了，他的超級對齊預計是四年完成，如果超級 AI 在那之前出現，他無法保證這個智慧體是「足夠安全」的，所以聯合了董事會，發動了這次的罷免。

我在猜這可能也是董事會覺得 Sam 「不老實」的主要地方，你的首席科學家覺得超級 AI 還不安全，但你沒跟我們說。
--
看完相關資料，就連我是超級 AI 愛好者，都覺得好像可以慢一下下比較好。

Ilya 不是一般人，他對 AI 的理解也不是半吊子，他的判斷是能夠限制 gpt-4 的機制限制不了 gpt-5，這件事我選擇相信他。

那 gpt-5 需要什麼樣的「超級對齊」能力呢？ Ilya 心中有答案，他說最好是「能像父母看待孩子那樣看待人類的 AI」。

但他並不是反對「超級AI」出現，他的前提是「要有更多優秀的人工智慧專家」，他認為只要有足夠多的使用者跟專家，大家一起展望 AI 的未來、討論「我們希望 AI 是什麼樣子」，到時將會出現「非常親近人類的超級AI」，那時人類就不用擔心會滅亡。

--
很難想像下一代 AI 到底是多強大，以至於讓 Ilya 這樣的專家會這麼擔心、甚至用激烈的手段來阻止開發。

但如果代價是人類毀滅的風險，那...Sam 你先休息一下，超級 AI 晚點出來我 OK

至於「超級對齊」具體應該怎麼做，Ilya 也有想法，應該會是「以 AI 治 AI 」的路線，需要先打造一個能「自動對齊」人類價值觀、「喜歡人類」的強大 AI，然後透過大量的算力進行自動對齊。
AI 領域真是越來越有趣了，Ilya 甚至認為 AI 已經是「非生物」的生命體，改天再來整理他對 AI 的更多想法。

（以上分享沒有確定的消息。如有雷同，純屬巧合。）

点击图片查看原图