如何面對AI存在的風險

擁有能力的同時也被賦予了重大的責任。企業(yè)可以通過遵循三個原則來減輕應用人工智能和增強分析的風險。

事實證明，人工智能被證明是一把雙刃劍。雖然這對大多數新技術可以這么說，但人工智能的兩面都要銳利得多，而且兩者都不為人所知。

首先考慮積極因素。從簡化購物到增強醫(yī)療保健體驗，這些技術正開始以無數種方式改善我們的生活。他們對企業(yè)的價值也已變得不可否認：正在部署AI的公司中，近80％的高管告訴我們，他們已經從中看到了中等價值。盡管AI在商業(yè)中的廣泛使用仍處于起步階段，并且關于進展的速度以及實現“通用智能”這一圣杯的可能性仍存在疑問，但潛力是巨大的。麥肯錫全球研究所的研究表明，到2030年，人工智能每年可以為全球帶來13萬億美元的額外經濟產出。

然而，盡管人工智能產生了消費者利益和商業(yè)價值，但它也產生了許多不必要的、有時甚至是嚴重的后果。當我們在本文中關注人工智能時，這些連鎖反應（以及防止或減輕它們的方法）同樣適用于所有增強分析。最明顯的問題，包括侵犯隱私、歧視、事故和操縱政治制度，足以引起人們的警惕。更令人關注的是尚未知道或經歷的后果。災難性的后果包括人命損失，如果人工智能醫(yī)療算法出錯，或者國家安全受損，如果對手向軍事人工智能系統(tǒng)提供虛假信息是可能的，對組織來說，從聲譽損害、收入損失到監(jiān)管反彈等重大挑戰(zhàn)也是可能的，刑事調查，公眾信任度下降。

由于人工智能是一種相對新的商業(yè)推動力，因此很少有領導者有機會磨練自己對社會、組織和個人風險的全面的直覺，或者提升其相關的實踐知識，這些知識包括所為AI提供的數據，以運行算法模型以及人與機之間的交互。結果，高管們常常忽略了潛在的風險（“We’re not using AI in anything thatcould ‘blow up，’ like self-driving cars”）或高估了組織的風險緩解能力（“我們已經進行了很長時間的分析，因此我們已經有了正確的控制措施，并且我們的做法與行業(yè)同行的做法是一致的”）。領導者通常會與IT和分析組織的專家所擁有的其他人一起承擔AI的風險（“我相信我的技術團隊，他們正在盡一切可能保護我們的客戶和我們的公司”）。

希望避免或至少減輕意外后果的領導者既需要建立他們對人工智能風險的模式識別技能，也需要讓整個組織參與進來，以便它準備好接受與人工智能相關的權力和責任。識別和控制所有關鍵風險所需的能力水平大大超過了大多數組織中的現行規(guī)范。要取得真正的進展，就需要采取多學科的方法，包括高管和整個公司的領導；法律和風險、IT、安全和分析等領域的專家；以及能夠確保在生產一線保持風險意識的管理人員。

本文試圖通過首先說明一系列容易忽視的風險來提供幫助。然后，它提出了一些框架，這些框架將幫助領導者識別最大的風險，并規(guī)避這些風險所需的精細控制的廣度和深度。最后，它簡要介紹了當前正在通過應用這些方法來解決AI風險的一些實際工作。

在繼續(xù)之前，我們想強調的是，我們在這里的重點是一階后果，這些后果直接來自人工智能解決方案的開發(fā)、它們的無意或有意誤用，或對輸入的數據進行了不正確的處理。還有其他一些后果，其中一個后果是，由人工智能驅動的工作場所自動化，使一些行業(yè)普遍存在失業(yè)的可能性。隨著人工智能系統(tǒng)重要性的增加，也有二階效應，如技能萎縮（例如，醫(yī)學專業(yè)人員的診斷技能）。這些后果將繼續(xù)受到關注，因為它們的重要性日益增加，但超出了我們在這里的范圍。

了解風險及其驅動因素

當人工智能出了問題，問題的根源暴露出來時，常常會有很多人搖頭。事后看來，似乎無法想象沒有人看到它的到來。但是，如果你就下一個可能出現的人工智能風險，對有地位的高管進行民意調查，你就不太可能達成任何共識。

領導者希望將其姿態(tài)從事后轉變?yōu)榍罢靶?，需要更好地了解他們所承擔的風險類型、相互依賴性以及潛在原因。為了幫助建立這種缺失的直覺，我們描述了以下五個可能導致人工智能風險的痛點。前三個是數據困難、技術問題和安全問題，可能與人工智能的使能技術有關。最后兩個是與算法和人機交互聯系在一起的，它們是實施人工智能的核心。顯然，我們還處于了解我們所承擔的風險背后的原因的早期階段，我們還試圖對其性質和范圍進行分類。

數據的挑戰(zhàn)

隨著從Web、社交媒體、移動設備、傳感器和物聯網等來源攝取的非結構化數據數量的增加，獲取、排序、鏈接和正確使用這些數據變得越來越困難。因此，很容易成為風險。比如無意中使用或泄露隱藏在匿名數據中的敏感信息。例如，雖然一個病人的名字可以從人工智能系統(tǒng)使用的病歷的一個部分進行編輯，但它可以出現在病歷的“醫(yī)生注釋”部分。這些考慮因素對于領導者在遵守隱私規(guī)則（如歐盟通用數據保護條例（GDPR）或加州消費者隱私法（CCPA））以及管理聲譽風險方面的工作非常重要。

技術的挑戰(zhàn)

整個運營環(huán)境中的技術和流程問題可能會對AI系統(tǒng)的性能產生負面影響。例如，一家大型金融機構的合規(guī)軟件未能發(fā)現交易問題，因為數據源不再包括所有客戶交易，因而陷入困境。

安全的挑戰(zhàn)

另一個出現的新問題是，欺詐者可能利用公司收集的看似不敏感的營銷、健康和財務數據來為人工智能系統(tǒng)提供燃料。如果安全防范措施不充分，則有可能將這些數據整合在一起以創(chuàng)建假身份。盡管目標公司（在保護個人身份信息方面可能非常有效）是不知情的共犯，但它們仍可能受到消費者的強烈反對和監(jiān)管方面的影響。

異常行為模式

AI模型本身會在交付有偏見的結果時產生問題（例如，用于訓練模型的樣本數據不足），變得不穩(wěn)定，它們會產生問題，或者得出結論，對于那些受其決定影響的人來說，沒有可溯的依據（例如，某人在不知道該怎么做才能拒絕該決定的情況下拒絕了貸款）。例如，考慮人工智能模型通過將郵政編碼和收入數據聯系在一起以創(chuàng)建有針對性的產品，無意中會產生歧視的可能。當人工智能模型嵌入在軟件即服務（SaaS）產品中時，很難被發(fā)現。當供應商推出新的智能功能（通常很少大張揚）時，他們還將推出可與用戶系統(tǒng)中的數據進行交互的模型，從而產生意料之外的風險，包括引起黑客可能利用的隱患。言下之意是，那些認為自己清楚自己所在組織是否購買或構建了人工智能系統(tǒng)，或者只是在試驗部署的領導人，很可能會犯錯。

交互的問題

人機界面是另一個關鍵的風險領域。其中最明顯的挑戰(zhàn)是自動化運輸、制造和基礎設施系統(tǒng)。如果重型設備，車輛或其他機械的操作員無法識別何時應該否決AI系統(tǒng)或由于操作員的注意力在其他地方而太慢而無法否決AI系統(tǒng)，則可能會造成事故和傷害，這在自動駕駛汽車等應用中是很可能的。相反，人為判斷也可能在否定AI系統(tǒng)的結果方面有缺陷。在后臺，在數據分析組織中，腳本編寫錯誤、數據管理失誤和訓練模型的數據中的錯誤判斷很容易損害公平性、隱私性、安全性和合規(guī)性。一線人員也可能會無意中做出貢獻，因為當銷售人員更擅長向某些特定人群進行銷售時，會不經意地訓練一個由AI驅動的銷售工具，以排除某些客戶群體。這些只是意想不到的后果。如果沒有嚴格的保護措施，不滿的員工或外部敵人可能會破壞算法或以不正當的方式使用人工智能應用程序。

人工智能風險管理：三大核心原則

除了了解未來所遇到的挑戰(zhàn)外，上述示例和分類對于識別風險及其根源，并確定其優(yōu)先級也很有用。如果您了解潛在的潛伏，誤解或根本無法識別的風險，則在風險趕上您之前，您就有更大的機會抓住它們。

但是，您需要在整個企業(yè)范圍內做出集中努力，從分類風險、轉移到根除風險。兩家領先銀行的經驗有助于說明所需的清晰度、廣度和細致的嚴謹性。第一家是歐洲公司，一直致力于將增強分析和人工智能功能應用于優(yōu)化呼叫中心、抵押貸款決策、客戶關系管理和資產管理計劃。第二個是全球領導者，尋求將機器學習模型應用于其客戶信貸決策。

這些銀行與金融服務領域的許多其他銀行一樣，多年來一直在使用某種形式的增強分析，其最早可用于信用卡欺詐檢測和股票交易。他們還受到高度的監(jiān)管監(jiān)督，因此長期以來一直在應用和透明化各種協(xié)議和控制措施以減輕相關風險，包括網絡安全風險，鑒于其資產對攻擊者的吸引力，他們經常處于前線。

盡管如此，這些銀行的故事僅說明了組織應考慮的特定風險控制措施的一部分。圖表2提供了一個更完整的潛在控制列表，涵蓋了從計劃到開發(fā)再到后續(xù)使用和監(jiān)視的整個分析過程。我們希望將這些工具和示例放在一起，可以幫助必須面對各種問題的領導者-從避免推薦引擎偏見到消除個人身份風險，再到根據特定需求更好地定制客戶服務機器人以響應客戶，還有更多。

清晰度：使用結構化的識別方法來找出最關鍵的風險

這家歐洲銀行的首席運營官首先召集業(yè)務、IT、安全和風險管理方面的領導者，以評估并確定其最大風險的優(yōu)先級。該練習的輸入內容包括對公司現有風險的清晰了解，以及正在考慮的AI驅動的分析工作如何加劇這些風險，以及AI支持者或AI本身可能造成的新的風險。有些很明顯，但有些則不然。意外地排在榜首的是向消費者提供的不良或偏頗的產品推薦。這些有缺陷的建議可能會導致大量傷害和損害，包括消費者損失，強烈反對和監(jiān)管罰款。

銀行領導者通過這種結構化的風險識別流程所取得的成就是，對最令人擔憂的情況進行了澄清，識別缺失的控制措施并相應地安排時間和資源。從而使他們能夠對所包含的風險進行優(yōu)先級排序。這些情況和優(yōu)先級風險自然會因行業(yè)和公司而異。食品制造商可能會優(yōu)先考慮受污染產品。軟件開發(fā)人員可能特別關注軟件代碼的公開。醫(yī)療保健組織可能會將重點放在患者誤診或無意對患者造成傷害等問題上。使管理人員的各個部門專注于查明和界定有問題的場景，是一種激發(fā)創(chuàng)造力并降低狹窄的專家或一時的想法會錯過主要漏洞的風險的好方法。組織不必為此付出一切從頭開始：在過去的幾年中，風險識別已成為一種成熟的技術，可以將其直接部署在AI的相關領域中。

廣度：制定健全的企業(yè)控制措施

增強你對預防風險的思考只是一個開始。同樣重要的是應用公司范圍內的措施來指導AI系統(tǒng)的開發(fā)和使用，確保適當的監(jiān)督并制定強有力的政策、程序、人員培訓和應急計劃。如果沒有廣泛的努力，風險因素（如先前所述的風險因素）將難以克服。

考慮到產品推薦不當或偏向可能帶來的風險，這家歐洲銀行開始采用一套穩(wěn)健的業(yè)務原則，旨在詳細說明如何以及在何處使用機器進行影響客戶財務狀況的決策。經理們確定了在將建議交付給客戶之前，某個人（例如，客戶關系經理或信貸員）需要“參與其中”的情況。這些工作人員將提供一個安全網，以識別客戶是否有特殊情況，例如家庭成員死亡或財務困難時，是否有可能提出不合時宜或不適當建議的特殊情況。

該銀行的監(jiān)督委員會還進行了差距分析，確定了該銀行現有風險管理框架中需要深化，重新定義或擴展的領域。目前，世行全面一致的治理現在可以確保正確定義政策和程序，對AI模型的特定控制，指導模型開發(fā)，職責分工和適當監(jiān)督的核心原則（在工具的支持下）。例如，模型開發(fā)工具可確保數據科學家在整個開發(fā)生命周期中始終記錄模型代碼，訓練數據和選擇的參數。還采用了用于解釋性，模型性能報告以及生產中數據和模型監(jiān)視的標準庫。這個治理框架對于內部AI開發(fā)工作以及評估和監(jiān)管第三方AI工具（例如銀行采用的SaaS欺詐模型）都是非常寶貴的。

此外，銀行政策現在要求所有利益相關者，包括發(fā)起業(yè)務的高管，都要進行方案規(guī)劃并創(chuàng)建后備計劃，以防AI模型的性能出現偏差，數據輸入發(fā)生意外變化或突然發(fā)生變化（例如自然災害）的外部環(huán)境。這些后備計劃包括在銀行的常規(guī)風險審查流程中，使董事會的風險委員會可以了解為減輕分析驅動和與AI相關的風險而采取的步驟。

在銀行減輕風險的工作中，人員培訓的意識也很重要。會與所有受影響的員工進行全面溝通，他們都會收到有關在哪里使用AI；銀行正在采取哪些步驟來確保公平、準確的決策并保護客戶數據；以及銀行的治理框架，自動化技術和開發(fā)工具如何協(xié)同工作。此外，業(yè)務發(fā)起人，風險團隊和分析人員還將接受有針對性的培訓，以了解他們在識別和最小化風險中的作用。例如，業(yè)務發(fā)起人要對模型行為進行解釋，提供關于他們正在使用該模型來提供有關模型背后的業(yè)務假設的反饋。同時，風險團隊已經就如何更好地識別和減輕法律和法規(guī)合規(guī)性問題進行了培訓，例如，對受保護群體的潛在歧視或對GDPR的遵守。

監(jiān)視AI驅動的分析是一項持續(xù)的工作，而不是一項一勞永逸的活動。因此，銀行的監(jiān)督小組，包括董事會的風險委員會，會定期審查該計劃，以掌握因監(jiān)管變更、行業(yè)轉變、法律解釋（例如新興的GDPR判例法）而可能出現的新風險，不斷變化的消費者期望以及快速更新的技術。

細微差別：根據風險的性質加強特定的控制

盡管由于企業(yè)范圍內的嚴格控制很重要，因此它們幾乎不足以抵消每種可能的風險。通常需要另一級別的嚴格性和細微差別，并且必要的控制將取決于各種因素，例如算法的復雜性，其數據要求，人機交互（或機器與機器交互）的性質。以及將AI嵌入業(yè)務流程的程度。有時需要從用例章程開始的概念控制。包括透明度要求在內的特定數據和分析控件以及用于反饋和監(jiān)控的控件（例如用于檢測降級或偏差的性能分析）也是如此。

我們的第二個示例為細微差別控件的應用提供了寶貴的啟示。該機構想要了解機器學習模型如何準確地針對特定的面向客戶的流程做出決策。在仔細考慮了透明性要求之后，該機構決定通過限制其使用的機器學習算法的類型來降低風險。禁止過于復雜和不透明的某些模型形式使該機構能夠在舒適的環(huán)境中取得平衡。失去了一些預測能力，這付出了經濟成本。但是，所使用模型的透明性使員工對其決策具有更高的信心。較簡單的模型還使檢查數據和模型本身更加容易，以發(fā)現可能由于用戶行為或數據變量或其排名變化而產生的偏差。

如該示例所示，組織將需要整合對于風險的控制，并且通過創(chuàng)建協(xié)議以確保在整個AI開發(fā)過程中到位并遵循這些協(xié)議，可以最好地實現它們。在我們的示例中，這些機構至少部分地通過其現有的風險基礎架構實施了這些協(xié)議以及企業(yè)范圍的控制。缺乏集中風險組織的公司仍可以使用強大的風險管理流程來使這些AI風險管理技術發(fā)揮作用。

關于AI的組織、個人和社會所面臨的潛在風險，還有很多要學習的知識。關于創(chuàng)新與風險之間的應適當平衡；以及關于控制難以預料和管理的地方。到目前為止，輿論和監(jiān)管反應已經相對緩和了。

但是，如果更多的組織陷入困境，這可能會有所改變。隨著與AI相關的風險成本的上升，評估這些風險以及使各級員工參與定義和實施控制的能力將成為企業(yè)新的競爭優(yōu)勢。對許多組織而言，是對“客戶體驗”的重新概念化，以涵蓋了AI驅動成果的承諾以及陷阱。另一個當務之急，是就應對應用AI的道德規(guī)范和限制使用AI的界限進行認真的辯論。集體行動也可能會越來越重要，集體行動可能涉及有關自我監(jiān)管和與監(jiān)管機構接觸的行業(yè)層面的辯論。培養(yǎng)這些能力的組織將能更有效地為其客戶和社會提供服務，并避免在道德、業(yè)務、聲譽和監(jiān)管方面的困境，并能避免可能導致組織崩潰的潛在生存危機。