當(dāng)前位置:首頁 > 物聯(lián)網(wǎng) > 智能應(yīng)用
[導(dǎo)讀]在實(shí)施人工智能模型時,由于可能會處理敏感數(shù)據(jù),因此必須優(yōu)先考慮安全性。他們預(yù)測的準(zhǔn)確性可能會產(chǎn)生重大影響,特別是在金融和醫(yī)療保健等行業(yè)。

Spring AI應(yīng)用的安全考慮

在實(shí)施人工智能模型時,由于可能會處理敏感數(shù)據(jù),因此必須優(yōu)先考慮安全性。他們預(yù)測的準(zhǔn)確性可能會產(chǎn)生重大影響,特別是在金融和醫(yī)療保健等行業(yè)。

使用 Spring Security 保護(hù) AI API

使用 Spring Security,您可以使用各種身份驗(yàn)證機(jī)制(例如OAuth2 或 JWT )來保護(hù) API 端點(diǎn):

Java

@EnableWebSecurity

public class SecurityConfig extends WebSecurityConfigurerAdapter {

@Override

protected void configure(HttpSecurity http) throws Exception {

http

.authorizeRequests()

.antMatchers("/api/v1/predict/**").authenticated()

.and()

.oauth2Login();

}

}


在此示例中,我們保護(hù)預(yù)測端點(diǎn),需要通過 OAuth2 進(jìn)行身份驗(yàn)證。

Spring 與 AI 特定框架的 AI 部署

1. Spring 與 TensorFlow 服務(wù)

TensorFlow Serving 是一個高性能服務(wù)系統(tǒng),專門為服務(wù)機(jī)器學(xué)習(xí)模型而設(shè)計(jì)。它簡化了新模型的部署、管理版本控制并支持 TensorFlow 模型的快速推理。 TensorFlow Serving 針對生產(chǎn)環(huán)境中的性能進(jìn)行了優(yōu)化,并包含批處理請求等功能,以最大限度地提高硬件利用率。

主要差異

標(biāo)準(zhǔn)SPRING(帶有 TENSORFLOW 集成)TENSORFLOW 服務(wù)

目的用于構(gòu)建微服務(wù)和企業(yè)應(yīng)用程序的通用框架??梢耘c TensorFlow 集成,但需要手動設(shè)置服務(wù)模型。針對 TensorFlow 模型進(jìn)行了優(yōu)化的專用模型服務(wù)系統(tǒng),具有內(nèi)置版本控制、批處理和性能優(yōu)化功能。

型號支持支持與任何模型框架集成,但 TensorFlow 模型需要基于 Java 的 API(例如 TensorFlow Java)或 REST API 來與 Spring 通信。原生支持 TensorFlow 模型和 TensorFlow Hub。僅限于 TensorFlow 或轉(zhuǎn)換為 TensorFlow 格式的模型。

部署復(fù)雜性需要自定義設(shè)置來部署 TensorFlow 模型(例如,圍繞模型構(gòu)建 API、手動管理版本)。通過對版本控制、監(jiān)控和模型更新的開箱即用支持,簡化 TensorFlow 模型的部署。

版本控制模型版本控制需要使用 Spring Boot 等框架和自定義 API 手動實(shí)現(xiàn)。對模型版本控制的內(nèi)置支持,可以同時提供模型的多個版本。

批處理和可擴(kuò)展性必須實(shí)現(xiàn)自定義批處理和縮放邏輯。 Spring 具有可擴(kuò)展性,但與 AI 專用工具相比,它需要更多的手動編排。自動請求批處理和縮放。針對在高流量環(huán)境中以最低配置提供服務(wù)模型進(jìn)行了優(yōu)化。

表現(xiàn)可以處理高性能系統(tǒng),但需要額外的工作來優(yōu)化模型推理(例如,JVM 調(diào)整、API 延遲)。針對 TensorFlow 模型的性能進(jìn)行了優(yōu)化,可實(shí)現(xiàn)低延遲服務(wù)和高效的硬件利用,包括對 GPU 和 TPU 的支持。

用例適用性

當(dāng)主要目標(biāo)是在生產(chǎn)中高效部署 TensorFlow 模型時, TensorFlow Serving更適合,并且內(nèi)置對高性能模型服務(wù)、版本控制和監(jiān)控的支持。

Spring非常適合使用多種類型模型(不僅僅是 TensorFlow)的環(huán)境,并且需要更強(qiáng)大、可擴(kuò)展的企業(yè)解決方案,這些解決方案不僅僅涉及服務(wù)模型(例如,復(fù)雜的工作流程、用戶管理、安全性)。

2. Spring 與 Kubernetes(使用 AI 編排)

Kubernetes是一個開源平臺,專門用于簡化容器化應(yīng)用程序的部署、擴(kuò)展和管理。在人工智能領(lǐng)域,Kubernetes 在協(xié)調(diào)復(fù)雜的分布式工作流程(包括模型訓(xùn)練、推理和數(shù)據(jù)管道等任務(wù))方面表現(xiàn)出了卓越的能力?;?Kubernetes 的 AI 部署通常與 Kubeflow 等補(bǔ)充工具集成,這些工具可以簡化和擴(kuò)展 AI 工作負(fù)載的容量。

主要差異

標(biāo)準(zhǔn)SPRING(帶有微服務(wù))KUBERNETES(帶有 AI 編排)

目的用于構(gòu)建微服務(wù)和 API 的框架。適用于服務(wù) AI 模型和 API,但需要手動設(shè)置以進(jìn)行擴(kuò)展和編排。為可擴(kuò)展的人工智能工作負(fù)載編排容器,管理訓(xùn)練和推理任務(wù)。非常適合分布式機(jī)器學(xué)習(xí)環(huán)境。

擴(kuò)展和編排Spring Boot 和 Spring Cloud 可以擴(kuò)展微服務(wù),但分布式 AI 工作流程(例如模型訓(xùn)練、數(shù)據(jù)管道)的編排更加復(fù)雜,需要外部工具。Kubernetes 擅長編排分布式、可擴(kuò)展的 AI/ML 管道,包括跨集群的大規(guī)模訓(xùn)練和推理任務(wù)。

模特服務(wù)Spring 需要手動集成模型服務(wù)邏輯,例如用于模型推理的 REST 端點(diǎn)。Kubernetes 可以使用 Kubeflow 或 Seldon 等特定于 AI 的編排器來管理 AI 工作流程,并在生產(chǎn)管道中無縫集成 AI/ML 任務(wù)。

部署復(fù)雜性盡管 Spring 簡化了大部分企業(yè)設(shè)置,但仍需要對生產(chǎn)中的微服務(wù)和模型編排進(jìn)行大量配置。Kubernetes 可實(shí)現(xiàn)部署、擴(kuò)展和資源管理的自動化,但需要容器編排和云原生工具方面的專業(yè)知識。

監(jiān)控與管理Spring Actuator可以用來監(jiān)控服務(wù),但是模型性能監(jiān)控需要自定義實(shí)現(xiàn)。Kubernetes 提供了強(qiáng)大的工具來自動記錄、監(jiān)控和擴(kuò)展 AI 服務(wù)。 Prometheus 和 Grafana 等工具無縫集成以收集指標(biāo)。

模型訓(xùn)練和推理Spring本身并不支持分布式模型訓(xùn)練。需要與外部人工智能工具集成。Kubernetes 支持分布式模型訓(xùn)練(例如,在多節(jié)點(diǎn)集群上)和推理工作流程。 Kubeflow 簡化了 Kubernetes 上的訓(xùn)練和服務(wù)模型。

用例適用性

Kubernetes是需要大規(guī)模編排、訓(xùn)練和推理的高度可擴(kuò)展的分布式 AI 工作負(fù)載的首選,特別是在基于云的集群等環(huán)境中。它非常適合具有復(fù)雜人工智能工作流程的大型企業(yè)。

Spring更適合在企業(yè)環(huán)境中提供 AI 模型服務(wù),其中模型推理集成到業(yè)務(wù)工作流程中,并且重點(diǎn)關(guān)注安全性、API 管理和用戶身份驗(yàn)證等企業(yè)功能。

3. Spring 與 MLflow

MLflow 是一個開源平臺,旨在管理機(jī)器學(xué)習(xí)生命周期,包括實(shí)驗(yàn)、再現(xiàn)性和模型部署。它提供了用于跟蹤實(shí)驗(yàn)、打包模型并通過 REST API 提供服務(wù)的工具。 MLflow 通常用于在生產(chǎn)中進(jìn)行版本控制和部署機(jī)器學(xué)習(xí)模型。

本站聲明: 本文章由作者或相關(guān)機(jī)構(gòu)授權(quán)發(fā)布,目的在于傳遞更多信息,并不代表本站贊同其觀點(diǎn),本站亦不保證或承諾內(nèi)容真實(shí)性等。需要轉(zhuǎn)載請聯(lián)系該專欄作者,如若文章內(nèi)容侵犯您的權(quán)益,請及時聯(lián)系本站刪除。
換一批
延伸閱讀

9月2日消息,不造車的華為或?qū)⒋呱龈蟮莫?dú)角獸公司,隨著阿維塔和賽力斯的入局,華為引望愈發(fā)顯得引人矚目。

關(guān)鍵字: 阿維塔 塞力斯 華為

加利福尼亞州圣克拉拉縣2024年8月30日 /美通社/ -- 數(shù)字化轉(zhuǎn)型技術(shù)解決方案公司Trianz今天宣布,該公司與Amazon Web Services (AWS)簽訂了...

關(guān)鍵字: AWS AN BSP 數(shù)字化

倫敦2024年8月29日 /美通社/ -- 英國汽車技術(shù)公司SODA.Auto推出其旗艦產(chǎn)品SODA V,這是全球首款涵蓋汽車工程師從創(chuàng)意到認(rèn)證的所有需求的工具,可用于創(chuàng)建軟件定義汽車。 SODA V工具的開發(fā)耗時1.5...

關(guān)鍵字: 汽車 人工智能 智能驅(qū)動 BSP

北京2024年8月28日 /美通社/ -- 越來越多用戶希望企業(yè)業(yè)務(wù)能7×24不間斷運(yùn)行,同時企業(yè)卻面臨越來越多業(yè)務(wù)中斷的風(fēng)險,如企業(yè)系統(tǒng)復(fù)雜性的增加,頻繁的功能更新和發(fā)布等。如何確保業(yè)務(wù)連續(xù)性,提升韌性,成...

關(guān)鍵字: 亞馬遜 解密 控制平面 BSP

8月30日消息,據(jù)媒體報(bào)道,騰訊和網(wǎng)易近期正在縮減他們對日本游戲市場的投資。

關(guān)鍵字: 騰訊 編碼器 CPU

8月28日消息,今天上午,2024中國國際大數(shù)據(jù)產(chǎn)業(yè)博覽會開幕式在貴陽舉行,華為董事、質(zhì)量流程IT總裁陶景文發(fā)表了演講。

關(guān)鍵字: 華為 12nm EDA 半導(dǎo)體

8月28日消息,在2024中國國際大數(shù)據(jù)產(chǎn)業(yè)博覽會上,華為常務(wù)董事、華為云CEO張平安發(fā)表演講稱,數(shù)字世界的話語權(quán)最終是由生態(tài)的繁榮決定的。

關(guān)鍵字: 華為 12nm 手機(jī) 衛(wèi)星通信

要點(diǎn): 有效應(yīng)對環(huán)境變化,經(jīng)營業(yè)績穩(wěn)中有升 落實(shí)提質(zhì)增效舉措,毛利潤率延續(xù)升勢 戰(zhàn)略布局成效顯著,戰(zhàn)新業(yè)務(wù)引領(lǐng)增長 以科技創(chuàng)新為引領(lǐng),提升企業(yè)核心競爭力 堅(jiān)持高質(zhì)量發(fā)展策略,塑強(qiáng)核心競爭優(yōu)勢...

關(guān)鍵字: 通信 BSP 電信運(yùn)營商 數(shù)字經(jīng)濟(jì)

北京2024年8月27日 /美通社/ -- 8月21日,由中央廣播電視總臺與中國電影電視技術(shù)學(xué)會聯(lián)合牽頭組建的NVI技術(shù)創(chuàng)新聯(lián)盟在BIRTV2024超高清全產(chǎn)業(yè)鏈發(fā)展研討會上宣布正式成立。 活動現(xiàn)場 NVI技術(shù)創(chuàng)新聯(lián)...

關(guān)鍵字: VI 傳輸協(xié)議 音頻 BSP

北京2024年8月27日 /美通社/ -- 在8月23日舉辦的2024年長三角生態(tài)綠色一體化發(fā)展示范區(qū)聯(lián)合招商會上,軟通動力信息技術(shù)(集團(tuán))股份有限公司(以下簡稱"軟通動力")與長三角投資(上海)有限...

關(guān)鍵字: BSP 信息技術(shù)
關(guān)閉