DeepMind引發(fā)公眾爭議：或造成健康數(shù)據(jù)過度壟斷

DeepMind進軍數(shù)字醫(yī)療服務領域的努力仍令人擔憂。最近的擔憂是由谷歌旗下的人工智能公司任命的一個外部審查人員組成的小組所帶來，該小組就DeepMind與英國國家醫(yī)療服務(NHS)進行初步數(shù)據(jù)共享進行報告。這使得DeepMind引發(fā)了一場重大公眾爭議。

2018年DeepMind Health獨立評論者報告(The DeepMind Health Independent Reviewers’2018 report)標志了一系列風險和擔憂,在他們看來,這包括DeepMind健康能夠“發(fā)揮過度的壟斷力量”，這是基于數(shù)據(jù)訪問和與Streams應用程序規(guī)則綁定的流媒體基礎設施所帶來的結果。這將DeepMind定位為結構化健康數(shù)據(jù)以及任何其他第三方之間的訪問控制中介，這些第三方可能在未來希望向Trust提供其數(shù)字幫助解決方案。

雖然DeepMind的Streams應用部署的基礎FHIR(fast healthcare interoperability resource，又名快速醫(yī)療互操作性資源)使用開放式API，但該公司與Royal Free Trust之間的合同通過DeepMind自己的服務器連接，并禁止連接到其他FHIR服務器。這個商業(yè)結構似乎與DeepMind的共同創(chuàng)始人穆斯塔法蘇萊曼(Mustafa Suleyman)聲稱支持的開放性和互操作性言論相悖。

“IT領域有很多例子，公司將客戶鎖定在難以改變或替換的系統(tǒng)中。這樣的安排不符合公眾的利益。我們不希望看到DeepMind Health將自己置于這樣的位置，即醫(yī)院等客戶發(fā)現(xiàn)自己被迫與DeepMind Health保持聯(lián)系，即使這已經(jīng)不再是經(jīng)濟上或臨床上明智的做法。我們希望DeepMind Health能夠在質(zhì)量和價格上進行競爭，而不是通過鞏固遺留的立場來進行競爭“，一位評論員寫到。

盡管他們指出DeepMind“對系統(tǒng)互操作性的陳述承諾”以及“采用FHIR開放API”是一種積極的指示，但同時“這意味著其他許多中小企業(yè)有可能參與其中，創(chuàng)造多樣化和創(chuàng)新的市場，為消費者，創(chuàng)新和經(jīng)濟服務。”

“我們還注意到DeepMind Health公司打算將Streams的許多功能作為可輕松交換的模塊來實施，這意味著其將不得不依靠最好的方式來維持業(yè)務。”他們補充道。

然而，陳述的意圖和未來潛力顯然與實際情況不一樣。而且，就目前而言，技術上可互操作的應用交付基礎設施正受到商業(yè)合同中禁止性條款的約束，以及缺乏針對此類行為的監(jiān)管阻力。

評論者還對DeepMind Health的商業(yè)模式持續(xù)缺乏明確性表示擔憂，“鑒于目前的環(huán)境，DeepMind Health的商業(yè)模式并不清楚，人們很可能會懷疑有一個未公開的利潤動機或隱藏的議程。我們并不認為這是事實，但會敦促DeepMind Health對其商業(yè)模式保持透明，并且堅持這一點的能力不會被Alphabet忽略。一旦隱藏議程的想法在人們的頭腦中固定下來，無論公司的動機如何，公共利益都很難轉(zhuǎn)變。”

“我們已經(jīng)就DeepMind Health在這一領域發(fā)展的想法進行了詳細對話，并且知道其中一些問題還沒有最終確定。然而，我們敦促DeepMind Health公開提出他們提出的建議，“他們補充道。

DeepMind提出其想要建立能夠按結果收費的醫(yī)療保健認證。但Streams不涉及任何AI。這項服務也是免費提供給NHS Trusts的，至少在頭五年。這就提出了Google旗下的的公司如何收回投資的問題。

谷歌當然可以通過一系列免費使用的消費類產(chǎn)品(如Android手機操作系統(tǒng))進行貨幣化，這其中還有云電子郵件服務Gmail以及YouTube視頻共享平臺，此類產(chǎn)品收集用戶的個人數(shù)據(jù)并將信息提供給廣告定位平臺。

因此，評論員建議DeepMind對其商業(yè)模式進行思考與闡述，以避免人們對其醫(yī)療數(shù)據(jù)背后的意圖產(chǎn)生質(zhì)疑。

如果允許DeepMind在數(shù)字醫(yī)療保健服務提供商中占據(jù)支配地位，該公司的歷史作風也顯露出了潛在的壟斷風險—考慮到其母公司如何有效地將免費原始設備制造商移動操作系統(tǒng)(Android)變?yōu)槿蚧鲗У闹悄苁謾C操作系統(tǒng)。

因此，盡管DeepMind在這個階段與NHS Trusts簽訂了少量合同，但審查人員對公司獲得“過度壟斷權”風險的擔憂似乎并不顯得過分。

他們還對DeepMind與其母公司Alphabet的工作合作方式所呈現(xiàn)出的模糊性表示擔憂，哪些數(shù)據(jù)可以被傳輸給廣告巨頭也不甚明朗——當數(shù)據(jù)信息被用于廣告并與DeepMind處理的個人醫(yī)療記錄相疊加時，這是一種不可避免卻令人不安的組合。

“DeepMind Health能夠在多大程度上將自己與Alphabet保持相對獨立，引導其未來避免做一些它今天承諾不會做的事情?或者，如果DeepMind Health目前的管理層離開DeepMind Health，那么新任CEO能夠在多少程度上改變今天已經(jīng)達成的協(xié)議?”他們寫道。

“我們贊賞DeepMind Health將繼續(xù)受法律和監(jiān)管框架的約束，但我們的大部分注意力都集中在DeepMind Health采取的步驟上，站在比法律要求更為合乎道德的立場之上，這一切都可以結束了嗎?我們鼓勵DeepMind Health以更強大的方式加強與Alphabet和DeepMind的分離，從而使其能夠?qū)ζ渥鞒龅某兄Z保持持久的力量。”

在回應中，DeepMind寫道“正在制定我們的長期業(yè)務模式和路線圖”。

“我們的首要任務就是證明我們的技術可以幫助改善患者護理質(zhì)量并降低成本，而不是為我們早期階段的收費。我們相信，我們的業(yè)務模式應該來自我們創(chuàng)造的積極影響，并將繼續(xù)探索基于結果的要素，以便成本至少部分與我們提供的收益相關。”DeepMind繼續(xù)表示。

因此，除了開展一些公共關系的節(jié)目之外，并沒有什么可以減輕評論者對將健康數(shù)據(jù)貨幣化意圖的擔憂。

在與Alphabet的聯(lián)合中，DeepMind也很少提及，只寫道：“我們會進一步的探索具有法律效應的框架，去確保管理我們所有的與國民醫(yī)療服務計劃(NHS，National Health Service)的合作都合法。

“Trust公司會始終托管著健康數(shù)據(jù)，”它補充道。“我們只會根據(jù)和合作者約定的合同去使用患者的數(shù)據(jù)，做到合法而且合規(guī)。我們將繼續(xù)與Trust公司簽署法律協(xié)議，以便審查這一重要問題。”

“在我們與合作伙伴約定的法律協(xié)議中，沒有任何條例阻止他們與任何其他數(shù)據(jù)處理方合作，如果他們希望尋求另一個提供商的服務。”它接著回應了我們提出的其他問題。

“我們希望Streams能夠幫助解鎖NHS下一波的創(chuàng)新浪潮。Streams的基礎架構是建立在最先進的開放式互操作標準之上，即FHIR。在英國，NHS Digital、NHS England和INTEROPen集團應用FHIR標準。這應該使我們的合作伙伴相信與其他開發(fā)人員的合作是更容易的，從而幫助他們?yōu)榕R床前線帶來更多創(chuàng)新，”它向我們補充了一些評論。

“根據(jù)我們與相關合作伙伴Trust的合同協(xié)議，我們承諾在協(xié)議的五年內(nèi)制定FHIR API基礎設施。”

當被問及在去年公布的用于驗證健康數(shù)據(jù)訪問的技術審計基礎架構方面取得的進展時，DeepMind重申了其博客上的措辭，稱：“我們將保持對設定盡可能高的信息治理標準的警惕。今年年初，我們?nèi)蚊艘幻毿畔⒐芾斫?jīng)理來監(jiān)督我們在所有工作領域使用的數(shù)據(jù)。我們還在繼續(xù)構建我們的可驗證數(shù)據(jù)審計和其他工具，以清楚地展示我們?nèi)绾问褂脭?shù)據(jù)。”

因此，這一方面的發(fā)展看起來像我們預期的那樣緩慢。

這家Google旗下的英國人工智能公司于2015年開始推進數(shù)字醫(yī)療服務，與倫敦的NHS Trust悄悄簽署信息共享協(xié)議，為其提供了大約160萬人的醫(yī)療記錄，用于開發(fā)病情警報應用程序，該程序被稱為“急性腎損傷”。

其還與Trust簽署了一份合作備忘錄，雙方表示了將AI應用于NHS數(shù)據(jù)集的雄心。(他們甚至為AI項目獲得了道德標志——但一直聲稱并Royal Free數(shù)據(jù)未供應給任何認可機構。)

然而，2016年5月，當Royal Free with DeepMind透露患者數(shù)據(jù)的范圍時(通過調(diào)查性新聞而不是Trust或DeepMind的披露)，數(shù)據(jù)共享合作遇到了麻煩。

160萬人的非匿名病歷在未被告知或征得同意的情況下被轉(zhuǎn)交給Google旗下的公司，基于數(shù)據(jù)共享安排的法律依據(jù)，這一問題引發(fā)了質(zhì)疑。

去年夏天，英國的隱私監(jiān)管機構對該項目進行了調(diào)查-發(fā)現(xiàn)Royal Free NHS Trust在應用開發(fā)過程中違反了數(shù)據(jù)保護規(guī)則。

盡管考慮到道德問題和法規(guī)，人們對數(shù)據(jù)共享的合法性保有不滿，但Streams項目仍在蒸蒸日上。Royal Free Trust繼續(xù)將該應用程序提供給醫(yī)院臨床醫(yī)生使用，而DeepMind還簽署了幾項額外的合同，將Streams部署到其他NHS Trust。

最近，法律事務所Linklaters在Trust委托下完成對Royal Free Streams項目的審計，作為其與ICO結算的一部分。雖然這次審計僅檢查了Streams的當前功能。(在項目建設和測試階段，沒有對人員病歷的合法性進行歷史審核。)

Linklaters確實建議Royal Free通過DeepMind終止其更廣泛的合作備忘錄——而且該Trust已向我們證實，它將遵循該公司的建議。

“審計建議我們終止與DeepMind達成的歷史性合作備忘錄，該備忘錄于2016年1月簽署。合作備忘錄與合作關系不再相關，我們正在終止合作關系，”Royal Free發(fā)言人告訴我們。

因此，DeepMind可能是世界上最著名的人工智能公司，它正處于參與向英國醫(yī)院提供數(shù)字醫(yī)療服務的奇怪位置，這些醫(yī)院實際上并不涉及任何人工智能。(盡管醫(yī)院也有一些與NHS Trusts進行的AI研究項目。)

2016年年中，在Royal Free DeepMind數(shù)據(jù)丑聞的高峰期中，為了爭取更多的公眾信任，該公司任命了外部審查小組，他們現(xiàn)在已經(jīng)編寫了第二份報告，研究該部門的運作情況。

公平地說，科技行業(yè)發(fā)生了很多事情，因為專家組被指定為進一步破壞公眾對技術平臺和算法承諾的信任——包括ICO發(fā)現(xiàn)Royal Free和DeepMind之間的初始數(shù)據(jù)共享違反了了英國隱私法律。

2018報告小組的8名成員是：Martin Bromiley OBE、Elisabeth Buggins CBE、Eileen Burbidge MBE、Richard Horton、Julian Huppert博士、Donal O’Donoghue教授、Matthew Taylor和John Tooke教授。

在他們最新的報告中，外部評論員警告說，公眾對科技巨頭的看法與一年前相比有“大幅轉(zhuǎn)變”——他們斷言“數(shù)字時代的隱私問題如果有的話，更值得關注”。

與此同時，政界人士也更關注技術巨頭的成果和社會影響。

盡管英國政府也熱衷于將自己定位為AI的支持者，為該部門提供公共資金，并在其“工業(yè)戰(zhàn)略”白皮書中將AI和數(shù)據(jù)確定為四大所謂的“重大挑戰(zhàn)”之一，英國可以“在未來幾年中引領世界”，并專門將DeepMind作為該國引以為傲的少數(shù)領先的本土人工智能業(yè)務之一。

盡管如此，關于如何管理公共部門數(shù)據(jù)以及人工智能部署的問題，特別是在醫(yī)療保健等高度敏感的領域，仍需要政府進行明確解決。

與此同時，即使技術人員甚至不涉及任何人工智能，數(shù)字技術正在進入醫(yī)療保健領域。這種趨勢帶來了重大挑戰(zhàn)，對現(xiàn)有的信息治理規(guī)則和結構施加了壓力，并增加了壟斷的風險。

當被問及NHS的數(shù)字服務提供商：NHS Digital是否為NHS Trust提供任何指導，包括醫(yī)生的數(shù)字幫助，特別是它是否需要由不同的提供者提供的多個選項時，它將我們的問題提交給衛(wèi)生部(DOH)，并指出這是衛(wèi)生政策的問題。

DOH反過來將問題提交給了英格蘭國民保健局，該委員會是委員會的非部門機構，負責委托合同并確定英格蘭衛(wèi)生服務的優(yōu)先順序和方向。

在撰寫本文時，我們?nèi)栽诘却撠煓C構的回應。

最終，看起來衛(wèi)生服務部門將為人工智能和數(shù)字決策服務建立一個清晰和健壯的結構，通過Trust在購買應用程序和服務時支持多個獨立選項的需求，從而促進設計競爭。

沒有這種重要的制衡和平衡，風險就在于平臺動態(tài)將快速主導和控制新興的數(shù)字健康援助領域——正如大型科技主導消費者科技一樣。

但公共資助的醫(yī)療保健決策和數(shù)據(jù)集不應該簡單地交給那些愿意并且能夠消耗大部分資源來擁有這個空間的單一市場主導實體。

一個明顯的風險是，當數(shù)字創(chuàng)新的一個重要領域有可能被一個科技巨頭壟斷，并在其他人有機會展示自身、市場初步形成的時候，面對巨頭將自己定位為守門員的境況，政府不應該袖手旁觀。