歐美收緊人工智能監(jiān)管 將來(lái)可能波及中國(guó)科技公司

近期，美國(guó)和歐盟先后發(fā)布AI監(jiān)管政策，預(yù)示著人工智能將迎來(lái)監(jiān)管時(shí)代。但美歐監(jiān)管路徑大相庭徑，歐盟意在加強(qiáng)監(jiān)管以強(qiáng)化個(gè)人權(quán)利保護(hù)，美國(guó)極力限制監(jiān)管范圍以促進(jìn)創(chuàng)新與發(fā)展。尤其，歐盟人工智能監(jiān)管框架延續(xù)了GDPR的長(zhǎng)臂管轄理念，將來(lái)可能波及中國(guó)科技公司。

一、歐盟：新的數(shù)字戰(zhàn)略之下，加速建立人工智能監(jiān)管框架

2月19日，歐盟委員會(huì)發(fā)布了新的數(shù)字戰(zhàn)略，這是繼2015年5月啟動(dòng)單一數(shù)字市場(chǎng)戰(zhàn)略之后，歐盟面向數(shù)字化轉(zhuǎn)型的又一綱領(lǐng)性戰(zhàn)略。與之一道發(fā)布的還有“人工智能白皮書(shū)”和“數(shù)據(jù)戰(zhàn)略”，這兩份戰(zhàn)略文件是落實(shí)新的數(shù)字戰(zhàn)略的第一批舉措。后續(xù)歐盟將圍繞以人為本的技術(shù)，公平、有競(jìng)爭(zhēng)力的經(jīng)濟(jì)，開(kāi)放、民主、可持續(xù)的社會(huì)這三大戰(zhàn)略目標(biāo)，出臺(tái)一系列落地措施。整體而言，歐盟出臺(tái)數(shù)字戰(zhàn)略，不僅意在增強(qiáng)歐盟的技術(shù)主權(quán)、產(chǎn)業(yè)領(lǐng)導(dǎo)力和經(jīng)濟(jì)競(jìng)爭(zhēng)力，而且期望通過(guò)立法和監(jiān)管重塑數(shù)字發(fā)展模式，將給全球數(shù)字發(fā)展帶來(lái)持續(xù)性影響。

而人工智能白皮書(shū)的出臺(tái)，意味著歐盟的人工智能政策將從倫理轉(zhuǎn)向監(jiān)管，相關(guān)技術(shù)應(yīng)用和產(chǎn)業(yè)發(fā)展將逐步受到影響。白皮書(shū)在2018年4月出臺(tái)的歐盟人工智能戰(zhàn)略的基礎(chǔ)上，提出了投資和監(jiān)管并舉的思路，一方面將持續(xù)加強(qiáng)對(duì)芯片、算法、量子計(jì)算等技術(shù)和產(chǎn)業(yè)的投資；另一方面將通過(guò)建立監(jiān)管框架來(lái)防范自動(dòng)化決策不透明、算法歧視、隱私侵犯、犯罪行為等AI應(yīng)用相關(guān)風(fēng)險(xiǎn)。旨在加強(qiáng)技術(shù)主權(quán)，確保技術(shù)信任。可見(jiàn)，歐盟希望通過(guò)監(jiān)管框架和技術(shù)/產(chǎn)業(yè)優(yōu)勢(shì)、數(shù)字基礎(chǔ)設(shè)施的結(jié)合，來(lái)確保歐盟在數(shù)字經(jīng)濟(jì)和人工智能領(lǐng)域成為全球創(chuàng)新的領(lǐng)導(dǎo)者。

白皮書(shū)提出針對(duì)人工智能建立新的監(jiān)管框架。新的監(jiān)管框架基于風(fēng)險(xiǎn)路徑，目的在于使各種風(fēng)險(xiǎn)和潛在損害最小化，同時(shí)避免過(guò)度監(jiān)管。核心規(guī)定包括以下五個(gè)方面。

第一，采取分類(lèi)監(jiān)管方式，并非所有的AI應(yīng)用都會(huì)受到監(jiān)管，監(jiān)管只針對(duì)“高風(fēng)險(xiǎn)”AI應(yīng)用；但判斷標(biāo)準(zhǔn)模糊，存在監(jiān)管泛化的可能性?！案唢L(fēng)險(xiǎn)”的判斷，有兩個(gè)累加的標(biāo)準(zhǔn)：（1）在特定領(lǐng)域使用AI應(yīng)用很有可能發(fā)生重大風(fēng)險(xiǎn)；（2）在前述的特定領(lǐng)域使用AI應(yīng)用，考慮使用的方式，有可能出現(xiàn)重大風(fēng)險(xiǎn)。具體可能涵蓋哪些領(lǐng)域和使用場(chǎng)景，有待將來(lái)出臺(tái)監(jiān)管名單，來(lái)窮盡列舉，并可定期評(píng)估、修訂，白皮書(shū)列舉了醫(yī)療、交通、能源等領(lǐng)域。此外還有一個(gè)兜底規(guī)定，這會(huì)進(jìn)一步擴(kuò)大監(jiān)管的范圍，即不論是否在監(jiān)管名單中，考慮風(fēng)險(xiǎn)的程度，只要為特定目的使用AI系統(tǒng)被認(rèn)為具有高風(fēng)險(xiǎn)，就應(yīng)當(dāng)受到監(jiān)管，例如在招聘中使用AI，將AI應(yīng)用于遠(yuǎn)程生物識(shí)別和其他監(jiān)控技術(shù)，這意味著AI人臉識(shí)別也是“高風(fēng)險(xiǎn)”應(yīng)用?？梢?jiàn)，判斷標(biāo)準(zhǔn)高度概括，非常模糊，存在很大解釋空間，賦予監(jiān)管較大的自由度，不排除將來(lái)出現(xiàn)監(jiān)管泛化。

第二，高風(fēng)險(xiǎn)系統(tǒng)需要遵守嚴(yán)格的強(qiáng)制性要求。新的監(jiān)管框架提出了一系列一般性法律要求，適用于所有的高風(fēng)險(xiǎn)AI應(yīng)用。這些要求涵蓋訓(xùn)練數(shù)據(jù)，數(shù)據(jù)記錄，信息提供與透明度，安全可靠與準(zhǔn)確無(wú)誤，人類(lèi)監(jiān)督和干預(yù)等五個(gè)方面：

（1）訓(xùn)練數(shù)據(jù)：確保AI應(yīng)用安全，訓(xùn)練數(shù)據(jù)覆蓋所有相關(guān)場(chǎng)景；采取合理措施確保AI系統(tǒng)不會(huì)導(dǎo)致不合法歧視，使用的數(shù)據(jù)集具有足夠的代表性；確保AI應(yīng)用保護(hù)隱私和個(gè)人數(shù)據(jù)。

（2）數(shù)據(jù)記錄：準(zhǔn)確記錄訓(xùn)練、測(cè)試AI系統(tǒng)所使用的的數(shù)據(jù)集；必要時(shí)保存數(shù)據(jù)集本身；記錄編程細(xì)節(jié)和創(chuàng)造、測(cè)試、驗(yàn)證AI系統(tǒng)的方法、程序和技術(shù)。

（3）信息提供與透明度：提供關(guān)于AI系統(tǒng)的能力、限制的清晰信息，特別是涉及系統(tǒng)目的、正常運(yùn)行條件、在實(shí)現(xiàn)特定目的上的準(zhǔn)確程度的信息；當(dāng)公民在與AI系統(tǒng)交互時(shí)，應(yīng)明確告知。

（4）安全可靠與準(zhǔn)確無(wú)誤：確保AI系統(tǒng)在整個(gè)生命周期內(nèi)是安全可靠的，準(zhǔn)確無(wú)誤的；確保結(jié)果是可復(fù)制的；確保AI系統(tǒng)在整個(gè)生命周期內(nèi)可以應(yīng)對(duì)失誤和不穩(wěn)定情況；確保AI系統(tǒng)能夠抵御攻擊和針對(duì)數(shù)據(jù)、算法的操縱行為，并采取應(yīng)對(duì)措施。

（5）人類(lèi)監(jiān)督和干預(yù)：人類(lèi)干預(yù)存在方式和程度上的差異，例如，除非已由人類(lèi)審查并確認(rèn)，否則AI系統(tǒng)的輸出不能成為有效的（如社會(huì)福利的申請(qǐng)只能由人類(lèi)做出決定）；AI系統(tǒng)的輸出即時(shí)有效，但之后可以訴諸人類(lèi)干預(yù)（如信用卡申請(qǐng)可由AI系統(tǒng)處理，但之后可以向人類(lèi)提出申訴）；在運(yùn)行過(guò)程中監(jiān)督AI系統(tǒng)，以及能夠?qū)崟r(shí)地干預(yù)和關(guān)閉系統(tǒng)（如自動(dòng)駕駛汽車(chē)具有關(guān)閉按鈕）；在設(shè)計(jì)階段，給AI系統(tǒng)施加運(yùn)行限制條件（如自動(dòng)駕駛汽車(chē)在超出預(yù)設(shè)的運(yùn)行條件時(shí)停止運(yùn)行）。

這些強(qiáng)制性要求可以說(shuō)是細(xì)致入微，但能否適應(yīng)技術(shù)和應(yīng)用快速發(fā)展迭代的特點(diǎn)，卻是一個(gè)大大的問(wèn)號(hào)。此外，相比之前泄露出來(lái)的文件考慮在3-5年內(nèi)禁止在公共場(chǎng)所使用人臉識(shí)別技術(shù)，白皮書(shū)透露出歐盟對(duì)人臉識(shí)別技術(shù)的態(tài)度已經(jīng)大為緩和，并未禁止人臉識(shí)別的使用，但將限定使用情形并建立安全措施。即必須確保特定使用情形是合法正當(dāng)?shù)?，符合比例原則的，并采取充分的安全措施。而對(duì)于在公共場(chǎng)所使用人臉識(shí)別技術(shù)，歐盟委員會(huì)后續(xù)將討論確定正當(dāng)?shù)氖褂脠?chǎng)景以及共同的安全措施。

第三，延續(xù)長(zhǎng)臂管轄思路，可能影響中國(guó)科技公司。在管轄方面，新的監(jiān)管框架延續(xù)了《一般數(shù)據(jù)保護(hù)條例》（GDPR）建立的長(zhǎng)臂管轄規(guī)則，即在歐盟境內(nèi)提供AI相關(guān)產(chǎn)品或服務(wù)的所有相關(guān)主體都需要受到監(jiān)管，遵守前述強(qiáng)制性要求，無(wú)論其是否在歐盟境內(nèi)設(shè)有營(yíng)業(yè)場(chǎng)所。這意味著歐盟以外的科技公司可能受到監(jiān)管，中國(guó)科技公司也不例外。在義務(wù)主體方面，一般而言，處在應(yīng)對(duì)潛在風(fēng)險(xiǎn)的最佳位置的主體，需要遵守前述強(qiáng)制性要求，避免過(guò)度擴(kuò)大義務(wù)主體的范圍。

第四，建立涵蓋事前、事中、事后各個(gè)環(huán)節(jié)的全面監(jiān)管機(jī)制。事前，為了確保高風(fēng)險(xiǎn)AI應(yīng)用遵守強(qiáng)制性要求，由監(jiān)管部門(mén)對(duì)其進(jìn)行合規(guī)認(rèn)證評(píng)估，包括測(cè)試、監(jiān)測(cè)和認(rèn)證程序，以及對(duì)在研發(fā)階段使用的算法和數(shù)據(jù)集進(jìn)行檢查。事中和事后，加強(qiáng)執(zhí)法，包括監(jiān)測(cè)合規(guī)與否，監(jiān)管部門(mén)或第三方機(jī)構(gòu)對(duì)AI應(yīng)用進(jìn)行測(cè)試。

第五，不在監(jiān)管范圍之內(nèi)的AI應(yīng)用，不需要遵守這些強(qiáng)制性要求。但針對(duì)不受監(jiān)管的AI應(yīng)用建立自愿認(rèn)證機(jī)制，即如果不受監(jiān)管的AI應(yīng)用自愿遵守這些強(qiáng)制性要求或者特別為自愿機(jī)制建立的類(lèi)似要求，則可以被授予質(zhì)量標(biāo)簽，表明該AI系統(tǒng)是可信的。一旦貼上了質(zhì)量標(biāo)簽，AI應(yīng)用就必須遵守強(qiáng)制性要求，否則監(jiān)管部門(mén)可對(duì)其采取執(zhí)法措施。自愿標(biāo)簽機(jī)制將激勵(lì)行業(yè)主動(dòng)合規(guī)，可能進(jìn)一步擴(kuò)大監(jiān)管范圍。

二、美國(guó)：科學(xué)審慎監(jiān)管、不監(jiān)管、非監(jiān)管措施多管齊下共促創(chuàng)新與發(fā)展

無(wú)獨(dú)有偶，今年1月，在出臺(tái)美國(guó)國(guó)家AI戰(zhàn)略滿(mǎn)一年之際，美國(guó)政府發(fā)布了《人工智能應(yīng)用監(jiān)管指南》，意在為聯(lián)邦政府對(duì)AI發(fā)展應(yīng)用采取監(jiān)管和非監(jiān)管措施提供指引。《指南》提出了十大監(jiān)管原則，涵蓋公眾對(duì)AI的信任、公眾參與、科研操守和信息質(zhì)量、風(fēng)險(xiǎn)評(píng)估與管理、成本效益分析、靈活性、公平無(wú)歧視、披露與透明度、安全可靠、聯(lián)邦機(jī)構(gòu)間協(xié)調(diào)等層面。這些原則既關(guān)乎方法論，也涉及目的，代表著美國(guó)在AI監(jiān)管上的總體思路?？傮w而言，美國(guó)對(duì)AI發(fā)展應(yīng)用的監(jiān)管，主要呈現(xiàn)出以下三個(gè)特點(diǎn)。

第一，強(qiáng)調(diào)監(jiān)管應(yīng)有助于創(chuàng)新與發(fā)展。美國(guó)的AI政策的根本目的在于，增強(qiáng)美國(guó)在AI的科學(xué)、技術(shù)、經(jīng)濟(jì)等方面的全球領(lǐng)導(dǎo)地位。AI監(jiān)管也需要服務(wù)于這一根本目的。就AI監(jiān)管的目的而言，與維護(hù)技術(shù)、經(jīng)濟(jì)和國(guó)家安全，隱私，自由，法治，知識(shí)產(chǎn)權(quán)等美國(guó)價(jià)值同等重要的是，促進(jìn)穩(wěn)健的創(chuàng)新生態(tài)系統(tǒng)，減少、移除AI技術(shù)發(fā)展和應(yīng)用面臨的不必要障礙，持續(xù)促進(jìn)技術(shù)和創(chuàng)新的進(jìn)步。所以《指南》要求充分評(píng)估監(jiān)管對(duì)AI創(chuàng)新和發(fā)展的影響，避免采取阻礙AI創(chuàng)新和發(fā)展的監(jiān)管、非監(jiān)管措施，避免采取可能給AI系統(tǒng)施加過(guò)高標(biāo)準(zhǔn)的預(yù)防性路徑，因?yàn)檫@可能影響社會(huì)從AI應(yīng)用中受益。

第二，強(qiáng)調(diào)監(jiān)管的科學(xué)性、靈活性。AI的監(jiān)管、非監(jiān)管措施需要充分考慮AI相關(guān)的科學(xué)、技術(shù)信息和程序，避免不切實(shí)際的拍腦袋立法。監(jiān)管需要采取風(fēng)險(xiǎn)路徑來(lái)評(píng)估哪些風(fēng)險(xiǎn)可被接受，哪些風(fēng)險(xiǎn)可能導(dǎo)致不被接受的損害，或者帶來(lái)的損害超出了帶來(lái)的益處。這意味著AI監(jiān)管不是要，也不可能消除所有的風(fēng)險(xiǎn)，而是對(duì)風(fēng)險(xiǎn)進(jìn)行管理，將風(fēng)險(xiǎn)控制在最小的或者社會(huì)可接受的限度。所以需要采取成本效益分析，在對(duì)AI進(jìn)行監(jiān)管之前，充分考慮AI發(fā)展應(yīng)用的社會(huì)成本、益處、影響等，以權(quán)衡AI活動(dòng)的利弊并衡量風(fēng)險(xiǎn)大校此外，監(jiān)管、非監(jiān)管措施要具有足夠的靈活性和彈性，適應(yīng)技術(shù)快速變化和AI應(yīng)用迭代，僵硬的、規(guī)制技術(shù)細(xì)節(jié)的立法是不切實(shí)際的，無(wú)效的。

第三，強(qiáng)調(diào)不監(jiān)管?？梢哉f(shuō)，對(duì)于AI應(yīng)用，美國(guó)是以不監(jiān)管為出發(fā)點(diǎn)的。如果既有的監(jiān)管是充分的，或者新的監(jiān)管不符合成本效益分析，此時(shí)理想的路徑就是不進(jìn)行監(jiān)管，或者采取非監(jiān)管的措施來(lái)應(yīng)對(duì)特定AI應(yīng)用的風(fēng)險(xiǎn)。不監(jiān)管和非監(jiān)管措施，和政府監(jiān)管同等重要。可以預(yù)見(jiàn)，美國(guó)將更側(cè)重不具有法律強(qiáng)制性的非監(jiān)管措施，包括細(xì)分領(lǐng)域的政策指南或框架，試點(diǎn)項(xiàng)目和實(shí)驗(yàn)，行業(yè)內(nèi)自愿的共識(shí)標(biāo)準(zhǔn)等。這些非監(jiān)管措施主要包括：

（1）細(xì)分領(lǐng)域的政策指南或框架：出臺(tái)非監(jiān)管的政策聲明、指南，或者測(cè)試和部署框架，來(lái)鼓勵(lì)特定領(lǐng)域的AI創(chuàng)新。

（2）試點(diǎn)項(xiàng)目和實(shí)驗(yàn)：出臺(tái)監(jiān)管例外、豁免，或者試點(diǎn)項(xiàng)目，為特定的AI應(yīng)用提供“安全港”（safe harbor）。

（3）自愿的共識(shí)標(biāo)準(zhǔn)：行業(yè)可以就AI應(yīng)用形成自愿的共識(shí)標(biāo)準(zhǔn)，標(biāo)準(zhǔn)組織可以推動(dòng)標(biāo)準(zhǔn)的制定，在出臺(tái)監(jiān)管或合規(guī)要求之前依賴(lài)行業(yè)內(nèi)的標(biāo)準(zhǔn)認(rèn)證項(xiàng)目。

三、美歐人工智能監(jiān)管政策對(duì)比

2020年絕對(duì)是全球人工智能政策的轉(zhuǎn)折點(diǎn)，美國(guó)和歐盟先后出臺(tái)監(jiān)管政策，表明人工智能將正式迎來(lái)監(jiān)管時(shí)代。監(jiān)管政策將成為美國(guó)和歐盟各自加強(qiáng)“科技主權(quán)”的重要工具。人工智能白皮書(shū)的出臺(tái)，表明歐盟的人工智能監(jiān)管立場(chǎng)已經(jīng)有所緩和，但是與美國(guó)相比，存在根本性差異。去年全球AI初創(chuàng)公司總共融資270億美元，其中美國(guó)占了170億美元，遠(yuǎn)超其他國(guó)家，美國(guó)活躍的創(chuàng)新生態(tài)在某種程度上表征著美歐監(jiān)管差異。

第一，監(jiān)管目的和初衷存在顯著差異。歐盟人工智能監(jiān)管框架延續(xù)了GDPR的立法初衷，過(guò)分強(qiáng)調(diào)個(gè)人權(quán)利保護(hù)和AI應(yīng)用的負(fù)面影響，包括個(gè)人數(shù)據(jù)和隱私保護(hù)、非歧視等基本權(quán)利，安全和責(zé)任等。相反，美國(guó)更全面地看待AI的影響，不僅側(cè)重維護(hù)美國(guó)核心價(jià)值，而且更加強(qiáng)調(diào)對(duì)AI創(chuàng)新與發(fā)展的促進(jìn)，所以把為AI應(yīng)用創(chuàng)設(shè)“安全港”、監(jiān)管例外、監(jiān)管豁免等提到了很高的地位?！鞍踩邸敝贫冉^對(duì)是美國(guó)在互聯(lián)網(wǎng)時(shí)代一騎絕塵的制勝法寶，美國(guó)希望在AI領(lǐng)域復(fù)制這一成功經(jīng)驗(yàn)。

第二，歐盟低門(mén)檻監(jiān)管，美國(guó)高門(mén)檻監(jiān)管。高度模糊的標(biāo)準(zhǔn)意味著，歐盟為AI應(yīng)用進(jìn)入監(jiān)管領(lǐng)域設(shè)置了較低的門(mén)檻。監(jiān)管要求具體入微，監(jiān)管和執(zhí)法覆蓋全過(guò)程，AI發(fā)展應(yīng)用將面臨更大范圍和更大程度的監(jiān)管壓力，技術(shù)和產(chǎn)業(yè)影響不容小覷。相反，美國(guó)所倡導(dǎo)的科學(xué)審慎監(jiān)管、風(fēng)險(xiǎn)評(píng)估與管理、成本效益分析、靈活敏捷等理念，不僅會(huì)很大程度壓縮監(jiān)管的空間，而且不至使監(jiān)管要求僵化，對(duì)技術(shù)和產(chǎn)業(yè)發(fā)展更加友好。

第三，歐盟粗放式監(jiān)管，美國(guó)精細(xì)化治理。粗放式不僅指標(biāo)準(zhǔn)抽象，而且意味著路徑單一，過(guò)度強(qiáng)調(diào)監(jiān)管的迫切性、必要性和重要性。相反，美國(guó)壓縮監(jiān)管空間，不意味著毫不作為，而是給技術(shù)和行業(yè)友好型的非監(jiān)管措施留出更大空間。

四、對(duì)我們的啟示

第一，持續(xù)加強(qiáng)基礎(chǔ)研發(fā)投入和人才培養(yǎng)。在推進(jìn)監(jiān)管的同時(shí)，美歐繼續(xù)加強(qiáng)科技研發(fā)投入，例如，美國(guó)在未來(lái)兩年將使投資于人工智能和量子計(jì)算的研發(fā)投入翻倍并打造量子互聯(lián)網(wǎng)，歐盟也將顯著地加強(qiáng)對(duì)AI、量子計(jì)算的研發(fā)投入。我國(guó)在基礎(chǔ)研究、芯片、核心算法、人才培養(yǎng)等方面尚存短板，需要持續(xù)加大對(duì)人工智能、量子計(jì)算等突破性技術(shù)的投入和支持力度。

第二，全球“技術(shù)主權(quán)”競(jìng)爭(zhēng)背景下，需要包容審慎監(jiān)管AI應(yīng)用。數(shù)字時(shí)代，全球“技術(shù)主權(quán)”競(jìng)爭(zhēng)趨于激烈，監(jiān)管政策是重要的工具，例如美國(guó)近年來(lái)加大對(duì)AI等前沿?cái)?shù)字技術(shù)的投資和出口管制，就是出于這一目的。因此美歐的AI監(jiān)管雖然存在差異，差異的存在是因?yàn)楫a(chǎn)業(yè)發(fā)展?fàn)顩r不同，但殊途同歸，最終都是為了打造技術(shù)和產(chǎn)業(yè)競(jìng)爭(zhēng)力。在這樣的背景下，美國(guó)的AI監(jiān)管政策樣本更契合我國(guó)的技術(shù)和產(chǎn)業(yè)實(shí)際，需要遵循包容審慎的理念，通過(guò)多方參與、風(fēng)險(xiǎn)評(píng)估、成本效益分析等機(jī)制，確保立法和監(jiān)管的科學(xué)化、精細(xì)化、靈活化，并可考慮設(shè)立“安全港”規(guī)則或者監(jiān)管例外來(lái)鼓勵(lì)A(yù)I應(yīng)用，同時(shí)依靠監(jiān)管之外的多元化措施，如標(biāo)準(zhǔn)、指南、試點(diǎn)等。

第三，加強(qiáng)國(guó)際合作，積極推動(dòng)國(guó)際AI標(biāo)準(zhǔn)設(shè)定。除了面向國(guó)內(nèi)的政策舉措，美歐也在積極建立國(guó)際同盟、聯(lián)盟等，希冀主導(dǎo)AI技術(shù)、倫理、治理等方面的國(guó)際標(biāo)準(zhǔn)，山頭主義的發(fā)展趨勢(shì)顯著。我國(guó)需要加強(qiáng)國(guó)際合作，積極輸出理念和價(jià)值觀。