■唐山

　　多倫多大學(xué)經(jīng)濟(jì)學(xué)家甘斯希望女兒能照顧小弟弟上廁所，他想出一個(gè)“好辦法”：每幫小弟弟上一次廁所，女兒可得一塊糖果。女兒很快找到竅門(mén)：不斷給小弟弟喂水，讓他多上廁所，以得到更多糖果……

　　甘斯遭遇了典型的“對(duì)齊問(wèn)題”：行動(dòng)與目標(biāo)不統(tǒng)一，“需要A卻獎(jiǎng)勵(lì)了B”。

　　在人類(lèi)史上，“對(duì)齊問(wèn)題”一次次帶來(lái)困擾，隨著人工智能（以下簡(jiǎn)寫(xiě)為AI）出現(xiàn)，“人機(jī)對(duì)齊”成了難題——AI可打敗世界上最好的棋手，我們卻不知它是如何做到的。隨著人類(lèi)越來(lái)越依賴(lài)AI，風(fēng)險(xiǎn)真地可控嗎？我們會(huì)不會(huì)落入科幻短片《戰(zhàn)爭(zhēng)的最后一天》里的悲慘境地（人類(lèi)滅絕，AI仍在自動(dòng)作戰(zhàn)）？

　　《人機(jī)對(duì)齊》是一本不太好讀的書(shū)，全書(shū)分三篇，即“預(yù)警”“自主”與“示范”，彼此關(guān)聯(lián)不大，甚至同篇各章間的邏輯關(guān)系亦不明顯。或因本書(shū)旨趣不在于說(shuō)明“AI已發(fā)展到什么地步”，而在于由此引發(fā)的思考。

　　從這個(gè)意義看，《人機(jī)對(duì)齊》不只是科普書(shū)，更是通識(shí)書(shū)，人人都有閱讀它的必要，它應(yīng)成為現(xiàn)代常識(shí)的組成部分——不了解這些常識(shí)，你會(huì)被現(xiàn)代社會(huì)“開(kāi)除”。

　　不是技術(shù)問(wèn)題，而是社會(huì)問(wèn)題

　　玩家知道，所有電子游戲都有“暗關(guān)”。比如玩《魂斗羅》，可反復(fù)打較低級(jí)的關(guān)，刷分換武器，則過(guò)難關(guān)會(huì)更容易；再如老版《FIFA》，下底傳中必進(jìn)，借此大招，操縱中國(guó)隊(duì)也能拿世界杯……許多“暗關(guān)”來(lái)自設(shè)計(jì)失誤，不論程序員們?cè)鯓有⌒模矡o(wú)法完全避免類(lèi)似失誤。

　　隨著AI發(fā)展，失誤變得越來(lái)越不可容忍。

　　2015年，來(lái)自海地的網(wǎng)絡(luò)開(kāi)發(fā)者阿爾西內(nèi)利用谷歌照片軟件，在網(wǎng)上分享了自己和親友的照片，讓阿爾西內(nèi)震驚的是，他們的照片竟被歸類(lèi)為“大猩猩”。谷歌的技術(shù)團(tuán)隊(duì)迅速響應(yīng)，可幾個(gè)小時(shí)后，問(wèn)題依舊，谷歌只好關(guān)閉了“大猩猩”這個(gè)標(biāo)簽。直到三年后，用谷歌搜大猩猩，仍看不到任何一張照片。

　　軟件是怎么“學(xué)會(huì)”種族主義的？實(shí)際上，技術(shù)錯(cuò)誤從來(lái)不只是技術(shù)本身的問(wèn)題。19世紀(jì)照相最多的美國(guó)人不是林肯、格蘭特，而是弗雷德里克·道格拉斯，一位廢奴主義者，他發(fā)現(xiàn)，照片上的黑人特別難看，因膠片均依白人模特校準(zhǔn)，形成化學(xué)配方，拍出的黑人則千人一面。

　　解決該問(wèn)題似乎不難，多找黑人模特即可。同理，增加黑人照片，谷歌軟件的識(shí)別率會(huì)更準(zhǔn)確。

　　然而，結(jié)果適得其反：IBM用AI開(kāi)發(fā)了招聘軟件，輸入100份簡(jiǎn)歷，選出5份最好的——幾乎都是男性。程序員關(guān)閉了性別選項(xiàng)，卻無(wú)法改變結(jié)果。因?yàn)锳I會(huì)通過(guò)關(guān)聯(lián)信息，自動(dòng)將女性排除。比如，它會(huì)把“上一年沒(méi)有工作”的簡(jiǎn)歷標(biāo)注為不合格，于是所有剛生育的女性均遭拒。類(lèi)似的標(biāo)簽無(wú)所不在，改不勝改。程序員們最后發(fā)現(xiàn)，他們面對(duì)的不是技術(shù)問(wèn)題，而是社會(huì)問(wèn)題——人類(lèi)社會(huì)處處都有性別標(biāo)簽，通過(guò)這些標(biāo)簽，女性總會(huì)被辨認(rèn)出來(lái)，被視為缺乏競(jìng)爭(zhēng)力者。單靠技術(shù)，已無(wú)法解決。

　　無(wú)法突破的“不可能性原理”

　　上世紀(jì)80年代，美國(guó)司法開(kāi)始用AI判斷囚犯可否假釋?zhuān)?000年時(shí)，已有26個(gè)州如此進(jìn)行。研究者發(fā)現(xiàn)了其中漏洞：黑人初犯者被評(píng)為高風(fēng)險(xiǎn)，但他們不再犯罪的可能性是白人的兩倍，白人初犯者反而被評(píng)為低風(fēng)險(xiǎn)。

　　這一發(fā)現(xiàn)引發(fā)輿情激蕩，人們紛紛要求去掉該系統(tǒng)的種族標(biāo)簽，結(jié)果卻發(fā)現(xiàn)，落入IBM招聘系統(tǒng)一樣的困境——假釋系統(tǒng)會(huì)通過(guò)其他標(biāo)簽，重新進(jìn)行種族篩選，但如把相關(guān)標(biāo)簽全撤掉，AI又會(huì)失去判斷能力。

　　研究者們發(fā)現(xiàn)，一切判斷都存在著“不可能性原理”，這在數(shù)學(xué)上得到了證明：沒(méi)有標(biāo)簽，就不可能做判斷；有標(biāo)簽，又必然有偏見(jiàn)，“原則上，任何風(fēng)險(xiǎn)評(píng)分天生都會(huì)被批評(píng)為有偏見(jiàn)”。

　　AI開(kāi)發(fā)無(wú)法繞過(guò)兩大難題：

　　首先，道德無(wú)法客觀化。道德選擇沒(méi)有固定標(biāo)準(zhǔn)，會(huì)隨情境的改變而變，人類(lèi)常常無(wú)法回答“什么是真正重要的”，AI更做不到。

　　其次，精準(zhǔn)預(yù)測(cè)無(wú)法減少風(fēng)險(xiǎn)。人類(lèi)喜歡更精準(zhǔn)的預(yù)測(cè)，從而掉進(jìn)“預(yù)測(cè)陷阱”，事實(shí)上，造成結(jié)果的原因是多元的，預(yù)測(cè)再精準(zhǔn)，也無(wú)法影響結(jié)果。美國(guó)芝加哥市曾列“危險(xiǎn)擁槍者”名單，據(jù)說(shuō)他們比其他人死于兇殺案的比例高232倍，即使如此，他們被槍殺的概率也僅有0.7%，如何從1000人中找到這7個(gè)人呢？折騰1000人，真能挽救這7個(gè)人？在《反對(duì)預(yù)測(cè)》中，作者哈科特寫(xiě)道：男司機(jī)易出事故，可是嚴(yán)查男司機(jī)，會(huì)鼓勵(lì)女司機(jī)變得更魯莽，車(chē)禍率并未下降。

　　不給答案，因?yàn)楦窘o不出答案

　　AI模仿了人腦的工作方式，通過(guò)大量案例訓(xùn)練，總結(jié)出“經(jīng)驗(yàn)”，獲得判斷力?？蛇@些“經(jīng)驗(yàn)”正確嗎？比如一款A(yù)I診病軟件，研究者驚訝地發(fā)現(xiàn)，它得出的“經(jīng)驗(yàn)”是：肺病患者如有哮喘病，屬低風(fēng)險(xiǎn)。胸痛有好處。

　　心臟病有好處。

　　超過(guò)100歲有好處。

　　這些逆天的“經(jīng)驗(yàn)”，可能來(lái)自相關(guān)患者屬高風(fēng)險(xiǎn)，會(huì)被特殊照顧，但AI不知全過(guò)程，只知他們經(jīng)特殊照顧后，痊愈率較高，便認(rèn)定“有好處”。

　　AI的大多數(shù)“錯(cuò)誤經(jīng)驗(yàn)”之所以不可知，是因?yàn)樗７铝巳祟?lèi)的神經(jīng)系統(tǒng)，作為人類(lèi)，我們自己也不知自己有多少“錯(cuò)誤經(jīng)驗(yàn)”，以及它們形成的原理。通過(guò)可視化技術(shù)，研究者們發(fā)現(xiàn)，AI的底層充滿(mǎn)荒謬。

　　比如判斷“什么是啞鈴”，AI會(huì)把手臂、肉色的、超現(xiàn)實(shí)的圖案都算成啞鈴，試錯(cuò)后，這些“經(jīng)驗(yàn)”被否定，但并沒(méi)消失，而是滯留在底層。人類(lèi)會(huì)情緒失控，我們能模糊地感到，這與底層“經(jīng)驗(yàn)”相關(guān)，那么“把啞鈴誤認(rèn)作手臂”會(huì)不會(huì)帶來(lái)長(zhǎng)期影響？

　　AI正深入生活的方方面面，自動(dòng)駕駛、醫(yī)療、城市管理、戰(zhàn)爭(zhēng)……誰(shuí)能保證AI的底層經(jīng)驗(yàn)不犯錯(cuò)？人類(lèi)從沒(méi)真正掌控好自我，引發(fā)一次次災(zāi)難，我們真能掌控好AI嗎？

　　本書(shū)第二篇、第三篇將焦點(diǎn)轉(zhuǎn)向AI發(fā)展史，描述了研究者們的突破歷程，包括從單任務(wù)轉(zhuǎn)向多任務(wù)，用單一AI在不同游戲中取勝；從外部激勵(lì)轉(zhuǎn)向AI自我激勵(lì)；通過(guò)模仿、逆強(qiáng)化學(xué)習(xí)等，使AI更強(qiáng)大……

　　然而，更強(qiáng)大的AI不等于“人機(jī)對(duì)齊”，AI實(shí)際上在“強(qiáng)制執(zhí)行自己有局限的理解”，它的目的未必是人類(lèi)的目的。

　　當(dāng)然，在牛津大學(xué)教授博斯特羅姆等激進(jìn)進(jìn)化主義者看來(lái)，這些都不是問(wèn)題。他計(jì)算出，未來(lái)星際文明非常強(qiáng)大，今天耽誤的每一秒，都相當(dāng)于失去將來(lái)的100萬(wàn)億人的生命，每向未來(lái)世界前進(jìn)1%，都等于技術(shù)加速1000萬(wàn)年。因此即使AI有風(fēng)險(xiǎn)，也應(yīng)全力推動(dòng)。

　　研究者施萊格里斯則說(shuō)：“如果有一個(gè)神奇的按鈕，可以把人類(lèi)變成一樣的為幸福而優(yōu)化的笨蛋，他們會(huì)按下它……幾年前，我也鼓吹這樣做?！钡F(xiàn)在，他的看法改變了：“我認(rèn)為不應(yīng)該按那個(gè)按鈕。”

　　對(duì)此，《人機(jī)對(duì)齊》沒(méi)給出答案，因?yàn)楦窘o不出答案。

　　我們乃至歷史，也許都是“AI”

　　雖然本書(shū)用大量篇幅在講述AI發(fā)展的細(xì)節(jié)，但我更喜歡的，還是書(shū)中的“跑題”部分——為強(qiáng)化AI，研究者深入研究了人類(lèi)自身智能的產(chǎn)生過(guò)程，得出的見(jiàn)解振聾發(fā)聵：我們每個(gè)人可能都是世界訓(xùn)練出來(lái)的“AI”。

　　人類(lèi)擁有智能，源頭是趨利避害的本能，在多巴胺的簡(jiǎn)單獎(jiǎng)勵(lì)下，塑造出復(fù)雜行為——并不是做對(duì)了，多巴胺才獎(jiǎng)勵(lì)快感，而是做新奇的事時(shí)，多巴胺才會(huì)給獎(jiǎng)勵(lì)。

　　所以，人類(lèi)喜歡刺激、冒險(xiǎn)和挑戰(zhàn)。不斷嘗試，就有了更多試錯(cuò)機(jī)會(huì)，通過(guò)試錯(cuò)，人類(lèi)智能得以成長(zhǎng)。人類(lèi)生活的世界就是“有效的課程”，它像一個(gè)大型游戲。這就可以理解，為什么電子游戲讓人難以自拔，因?yàn)樗痊F(xiàn)實(shí)世界的獎(jiǎng)勵(lì)更直接。

　　在現(xiàn)實(shí)世界中，人在進(jìn)化，決定成敗的核心因素，是“獎(jiǎng)勵(lì)的稀疏性”。比如為了讓人類(lèi)學(xué)會(huì)飛，讓人從懸崖往下跳，不會(huì)飛便摔死——這并非聰明的辦法。在會(huì)飛與不會(huì)飛之間，有無(wú)數(shù)環(huán)節(jié)，如在每個(gè)環(huán)節(jié)都設(shè)置獎(jiǎng)勵(lì)，人類(lèi)最終就能學(xué)會(huì)飛；如獎(jiǎng)勵(lì)太稀疏，從不會(huì)飛直接跨越到飛，必然失敗。正如眼睛，是經(jīng)四五十次進(jìn)化才完成的。在書(shū)中，一位學(xué)者開(kāi)玩笑說(shuō)，要么讓自己的孩子學(xué)會(huì)中文，要么就不給飯吃，孩子的母親明智地拒絕了這個(gè)建議。

　　作者本想說(shuō)明研究者通過(guò)改變稀疏性，提高AI能力，卻給讀者一個(gè)全新的看世界的視角：人類(lèi)文明的本質(zhì)就是一個(gè)獎(jiǎng)勵(lì)結(jié)構(gòu)的故事。沿著這一思路，我們會(huì)推演出一個(gè)完全不同于以往“思想——行動(dòng)——改變”的歷史解釋的結(jié)論，推動(dòng)進(jìn)步的力量是多元的，不論個(gè)體，還是群體，都沿著稀疏性向密集的方向發(fā)展，決定歷史的關(guān)鍵因是稀疏性，而非想法、技術(shù)、制度或人物。

　　由此帶來(lái)新的認(rèn)知危機(jī)：如果人是受造物，那么自由是什么？

　　在書(shū)中，著名思想史學(xué)者斯金納指出，在稀疏性面前，人與老鼠相同。當(dāng)記者問(wèn)他：“自由意志還有位置嗎？”斯金納回答：“它還有虛構(gòu)的位置?！蹦呐轮粸榕c這句話(huà)相遇，《人機(jī)對(duì)齊》就值得一讀。