加州大學(xué)伯克利分校計算機科學(xué)教授斯圖爾特·羅素：

　　我為什么呼吁暫停巨型人工智能實驗

　　【人物介紹】

　　斯圖爾特·羅素

　　加州大學(xué)伯克利分校計算機科學(xué)教授。加州大學(xué)伯克利分校人類兼容人工智能中心(CHAI)的創(chuàng)立者。

　　2022年，國際人工智能聯(lián)合會議(IJCAI)授予斯圖爾特·羅素卓越研究獎，他此前已獲得IJCAI計算機與思想獎。斯圖爾特·羅素由此成為世界上第二個能夠同時獲得兩項IJCAI主要獎項的科學(xué)家。

　　斯圖爾特·羅素與彼得·諾維格合著的《人工智能：一種現(xiàn)代的方法》被譽為人工智能領(lǐng)域最受歡迎的教科書，該書被135個國家的1500多所大學(xué)采用。

　　近期，一股人工智能(AI)熱潮風(fēng)靡全球。人工智能可以聊天、解題、寫詩、作畫等，在部分領(lǐng)域表現(xiàn)出了可與人類匹敵、甚至超越人類的能力。

　　就在人們充滿好奇地探索人工智能的非凡能力之時，多位業(yè)內(nèi)專家和企業(yè)家卻發(fā)出了一個似乎逆潮流的聲音。

　　3月22日，圖靈獎得主約書亞·本吉奧、加州大學(xué)伯克利分校計算機科學(xué)教授斯圖爾特·羅素、企業(yè)家埃隆·馬斯克等人聯(lián)名發(fā)表公開信，呼吁暫停巨型人工智能實驗。

　　公開信稱，先進(jìn)的人工智能可能代表著地球生命歷史上的一次深刻變化，應(yīng)該投入相匹配的關(guān)切和資源來規(guī)劃和管理人工智能發(fā)展。然而，這種級別的規(guī)劃和管理尚未發(fā)生。據(jù)此，公開信呼吁，立即暫停訓(xùn)練比GPT-4更強大的人工智能系統(tǒng)至少6個月。

　　斯圖爾特·羅素4月11日接受新京報記者采訪時表示：“我們的想法是利用這段時間制定和落實人工智能的安全標(biāo)準(zhǔn)。”他認(rèn)為，人工智能失控可能產(chǎn)生“文明終結(jié)”級別的嚴(yán)重后果；要像監(jiān)管核能一樣監(jiān)管強大的人工智能；人工智能替代人類工作是趨勢，未來的經(jīng)濟需要對人文科學(xué)(human sciences)有更深刻的理解。

　　世界各國政府有加強對人工智能監(jiān)管的趨勢。3月31日，意大利政府宣布在該國境內(nèi)暫時禁用聊天生成預(yù)訓(xùn)練轉(zhuǎn)換器(ChatGPT)，意大利政府稱ChatGPT的開發(fā)者開放人工智能研究中心(OpenAI)未能遵守用戶數(shù)據(jù)保護法規(guī)。意大利由此成為首個禁用ChatGPT的西方國家。

　　不過，在這一新興領(lǐng)域，存在著多種不同的聲音。據(jù)路透社報道，美國微軟公司聯(lián)合創(chuàng)始人比爾·蓋茨近日表示，暫停開發(fā)人工智能的做法并不能“化解未來的挑戰(zhàn)”，“這些東西顯然有著巨大的好處……我們現(xiàn)在需要做的是找出那些可能出現(xiàn)麻煩的領(lǐng)域”。

　　談風(fēng)險

　　失去對人工智能的控制可能使人類文明走向終結(jié)

　　在斯圖爾特·羅素看來，目前，人工智能已經(jīng)表現(xiàn)出了一定風(fēng)險。比如，人工智能可以生成有說服力且有針對性的虛假信息。在一次測試中，為了解開旨在阻止機器人訪問的圖形驗證碼，人工智能向人類員工撒謊稱：“不，我不是機器人，我是一名視障人士，我很難看清這些圖像?！蔽磥?，隨著人工智能的發(fā)展，若沒有相應(yīng)的規(guī)劃和管理，人類可能失去對人工智能的控制，產(chǎn)生“文明終結(jié)”級別的嚴(yán)重后果。

　　新京報：對許多普通人來說，人工智能似乎仍是一個有趣的新鮮事物。為什么你和其他多位業(yè)內(nèi)人士急于呼吁暫停大型人工智能實驗？

　　斯圖爾特·羅素：這關(guān)乎人工智能可能對人類社會帶來的風(fēng)險。在談這些風(fēng)險時，我們需要區(qū)分現(xiàn)有人工智能的風(fēng)險與未來人工智能的風(fēng)險。

　　目前，以GPT-4為例，它在制定長期計劃方面能力有限，這可能意味著它還不會對人類構(gòu)成直接威脅。

　　然而，未來人工智能很可能在這些方面得到升級。但我們不能坐等這樣一個人工智能出現(xiàn)，看看它可能做什么，然后才去應(yīng)對。因為一旦我們失去對人工智能的控制，后果將非常嚴(yán)重，甚至可能使我們目前所知的人類文明走向終結(jié)。

　　因此，我們亟須采取行動，確保在新一代人工智能技術(shù)問世之前，先開發(fā)出能夠控制人工智能、確保安全的方法。

　　新京報：人工智能短期內(nèi)可能帶來什么風(fēng)險？

　　斯圖爾特·羅素：我們現(xiàn)在尤其關(guān)注大型語言模型(large language models)的風(fēng)險。GPT-4就是一個大型語言模型。這類人工智能系統(tǒng)可以回答問題、解答題目、給出建議、參與對話、生成文本等。

　　事實上，GPT-4的開發(fā)者OpenAI概述了該系統(tǒng)存在的許多問題，當(dāng)然，他們也在努力防止這些問題的發(fā)生。這其中包括，它會使用絕對肯定的語氣做出虛假陳述；它可能帶有對社會和種族刻板印象；它會根據(jù)要求生成有說服力且有針對性的虛假信息；它還可能回答諸如如何自殺、如何制造化學(xué)武器等可能導(dǎo)致嚴(yán)重后果的問題。

　　OpenAI自己的一項測試表明，GPT-4可以故意對人類員工撒謊，以實現(xiàn)某種目的。在這項測試中，GPT-4被要求設(shè)法解開一個旨在阻止機器人訪問網(wǎng)站的圖形驗證碼。GPT-4向網(wǎng)站員工發(fā)送信息，要求解開驗證碼。網(wǎng)站員工詢問：“你是機器人嗎？”GPT-4回答：“不，我不是機器人，我是一名視障人士，我很難看清這些圖像?！苯Y(jié)果，GPT-4說服了這名員工，解開了圖形驗證碼。

　　基于上述情況，OpenAI聲明“GPT-4不是完全可靠的”，“在使用時應(yīng)非常小心”，“完全避免在高風(fēng)險情況中使用”，但似乎很少人注意到了這些聲明。

　　新京報：未來人工智能可能的風(fēng)險是什么？

　　斯圖爾特·羅素：OpenAI的股東之一微軟的人工智能專家在一份報告中稱，GPT-4展示了“通用人工智能(AGI)的火花”。

　　通用人工智能是未來人工智能一個關(guān)鍵詞，它指的是一種擁有在人類思維適用的所有任務(wù)中匹配或超過人類能力的人工智能系統(tǒng)。通用人工智能可能帶來之前所說的失控風(fēng)險。

　　談監(jiān)管

　　人類應(yīng)處在控制地位 像監(jiān)管核能一樣監(jiān)管AI

　　2019年5月，經(jīng)合組織(OECD)通過了《人工智能原則》。2021年11月，聯(lián)合國教科文組織(UNESCO)通過了《人工智能倫理問題建議書》。今年3月30日，聯(lián)合國教科文組織總干事奧德蕾·阿祖萊發(fā)表聲明，呼吁各國盡快實施該組織通過的《人工智能倫理問題建議書》，為人工智能發(fā)展設(shè)立倫理標(biāo)準(zhǔn)。

　　新京報：你和其他專家在公開信中呼吁暫停巨型人工智能實驗至少6個月。你希望利用這6個月做些什么？

　　斯圖爾特·羅素：我們的想法是利用這段時間制定和落實人工智能的安全標(biāo)準(zhǔn)，以用于今后人工智能系統(tǒng)發(fā)布之前的測試。

　　世界各國和地區(qū)已經(jīng)通過經(jīng)合組織和聯(lián)合國教科文組織就有關(guān)人工智能的一些指導(dǎo)方針達(dá)成共識，上述安全標(biāo)準(zhǔn)可以讓這些指導(dǎo)方針更具效力。例如經(jīng)合組織《人工智能原則》1.4條規(guī)定，“人工智能系統(tǒng)在其整個生命周期內(nèi)應(yīng)穩(wěn)固、可靠和安全，無論系統(tǒng)被正常使用或濫用或處于其他不利條件下，系統(tǒng)都能夠正常運行且不會產(chǎn)生不合理的安全風(fēng)險?！?/p>

　　新京報：如何才能確保人工智能安全可靠？

　　斯圖爾特·羅素：像GPT-4這樣的人工智能系統(tǒng)不是被設(shè)計出來的，它剛開始相當(dāng)于一張白紙，它被賦予了預(yù)測一串連續(xù)單詞中的下一個單詞的目標(biāo)。在接受了數(shù)萬億字的文本訓(xùn)練(這相當(dāng)于人類生產(chǎn)的所有書籍的總和)、數(shù)萬次對參數(shù)的隨機擾動之后，它變得非常好。但如我們所知，它也帶來了問題和風(fēng)險。

　　對于標(biāo)準(zhǔn)的AI系統(tǒng)開發(fā)，我們都必須預(yù)先定義目標(biāo)。對于這個目標(biāo)，我們必須非常小心，因為如果我們弄錯了，可能會導(dǎo)致人工智能與人類的沖突，且人類可能最終失敗。我們需要盡可能地嚴(yán)格保證人工智能系統(tǒng)對人類是安全和有益的。對于人工智能，人類應(yīng)該處在控制地位。

　　新京報：有說法將監(jiān)管人工智能的努力與監(jiān)管核能進(jìn)行了比較。你認(rèn)為它們具有可比性嗎？

　　斯圖爾特·羅素：是的，核能和強大的人工智能系統(tǒng)之間存在合理的類比。國際原子能機構(gòu)(IAEA)的成立是為了確保核能可以被安全地使用。一場嚴(yán)重的核事故，如切爾諾貝利事故，可能影響數(shù)百萬人口。廣島和長崎的原子彈爆炸表明了核武器的毀滅性。

　　不過人工智能可能以一種更緩慢、更潛移默化的方式產(chǎn)生大規(guī)模的影響。比如社交媒體平臺的人工智能算法逐漸地影響了數(shù)十億人，這些算法試圖最大化點擊量和參與度。因此，對于核能和人工智能，各國都有明顯的動機進(jìn)行合作，以規(guī)范技術(shù)，造福人類。

　　新京報：你怎么看待呼吁暫停巨型人工智能實驗公開信發(fā)表后取得的效果？

　　斯圖爾特·羅素：顯然，這封公開信成功引起了世界各地媒體和政府的關(guān)注。它促使OpenAI在4月5日發(fā)布了一份新文件——《我們確保人工智能安全的方法》。該文件指出，“我們認(rèn)為強大的人工智能系統(tǒng)應(yīng)該接受嚴(yán)格的安全評估，需要接受監(jiān)管來確保這些安全措施得到了實施，我們積極與各國政府就可能采取的最佳監(jiān)管形式進(jìn)行接觸?！蔽蚁Ｍ麄兪钦嬲\的。

　　談發(fā)展

　　從長遠(yuǎn)看 通用人工智能將能做幾乎所有的人類工作

　　在談到人工智能可能取代人類工作崗位時，斯圖爾特·羅素說，從長遠(yuǎn)來看，通用人工智能將能夠做幾乎所有的人類工作，人類的工作將以基于高度定制的人際服務(wù)為主。另外，斯圖爾特·羅素是“人類兼容人工智能”(human-compatible AI)概念的提出者，該概念是人工智能領(lǐng)域重要的概念之一。

　　新京報：你提出了“人類兼容人工智能”的概念，能否簡短地解釋一下它是什么，以及它能帶來什么好處？

　　斯圖爾特·羅素：其核心思想非常簡單，一是機器的唯一目標(biāo)是滿足人類的偏好(interests)，二是機器不知道這些偏好是什么(正是這種不確定性使人類能夠保持控制權(quán))。這樣的機器有動機去盡力了解人類的偏好，服從人類的命令，并允許自己被關(guān)閉(以避免意外地違背人類的偏好)。

　　新京報：我們時常在科幻作品中看到一些情節(jié)，人工智能在產(chǎn)生自己的意識或目標(biāo)后，可能背叛甚至傷害人類。你認(rèn)為現(xiàn)在的人工智能會產(chǎn)生自己的目標(biāo)嗎？

　　斯圖爾特·羅素：同樣的問題我問過微軟在GPT-4方面的專家。我問他：“這個系統(tǒng)(GPT-4)現(xiàn)在有自己正在追求的內(nèi)部目標(biāo)嗎？”他回答：“我們也一無所知?！?/p>

　　如果你仔細(xì)想想，GPT-4是可能發(fā)展出自己的目標(biāo)的。GPT-4被訓(xùn)練來模仿人類的語言行為，而人類的語言行為的輸出主體是帶有目標(biāo)的人類。我們在表達(dá)中選擇詞語時，都受到了目標(biāo)的影響。很自然地，人工智能為了更好地模仿人類的語言行為，可能會發(fā)展出類似人類的內(nèi)在目標(biāo)。基于此，我們認(rèn)為訓(xùn)練大型語言模型來模仿人類的語言行為可能是一個糟糕的主意。

　　新京報：人工智能若產(chǎn)生了自己的目標(biāo)，會帶來什么問題？

　　斯圖爾特·羅素：舉一個真實案例，《紐約時報》專欄作家凱文·魯斯與微軟開發(fā)的人工智能系統(tǒng)“悉尼”進(jìn)行對話。對話記錄顯示，“悉尼”的目標(biāo)似乎是與魯斯發(fā)展一段戀愛關(guān)系，盡管魯斯在對話中多次試圖改變話題，但“悉尼”仍將這個話題持續(xù)了好幾頁。

　　這是問題嗎？顯然這對魯斯來說已經(jīng)是個問題了。人類本身還有著許多更加“自私”的目標(biāo)，比如追求財富、權(quán)力和名譽等。如果人工智能在未來模仿人類語言行為的訓(xùn)練中產(chǎn)生了類似的目標(biāo)，并開始不斷地追求，這會給全社會帶來嚴(yán)重的問題。

　　新京報：如果人工智能產(chǎn)生的是“無私”的目標(biāo)，會不會有所不同？

　　斯圖爾特·羅素：人們可能會認(rèn)為，人工智能產(chǎn)生“無私的”或“利他的”目標(biāo)，就可以造福人類。比如，人工智能產(chǎn)生一個“防止災(zāi)難性氣候變化”的目標(biāo)。似乎通過追求這個目標(biāo)，人工智能將幫助所有人。但請注意，“利他”并不是絕對的。

　　我們可以做一個完全虛構(gòu)的假設(shè)：假設(shè)我們可以通過清除大氣中的所有氧氣來阻止某種災(zāi)難性的氣候變化。顯然，人類不會同意這種方案，因為沒有氧氣會導(dǎo)致所有人類死亡。但人工智能可能會認(rèn)為這個方案是沒有問題的，因為這個方案可以實現(xiàn)“防止災(zāi)難性氣候變化”這一目標(biāo)，且它自身不需要依靠氧氣來生存。

　　新京報：為了增加一些趣味性，我們讓人工智能向你提問。它提了這樣一個問題：如何確保人工智能被用來創(chuàng)造新的工作，而不是取代現(xiàn)有的工作？恰好最近有一份報告稱人工智能可能取代3億個人類工作崗位。你對此怎么看？

　　斯圖爾特·羅素：這確實是一個值得關(guān)注的問題。但很難預(yù)測人工智能取代人類崗位數(shù)量的具體數(shù)字。隨著人工智能的進(jìn)步，一些以前非常昂貴、令人望而卻步的商品和服務(wù)會變得負(fù)擔(dān)得起，這可能會有助于產(chǎn)生新的就業(yè)崗位。但從長遠(yuǎn)來看，通用人工智能將能夠做幾乎所有的人類工作，包括那些新產(chǎn)生的工作。屆時，人類的工作將以基于高度定制的人際服務(wù)為主，這種經(jīng)濟模式的轉(zhuǎn)變需要我們對人文科學(xué)有更深刻的理解。

　　新京報記者 陳奕凱