傳統(tǒng)的內(nèi)部開發(fā)人員平臺(IDP)改變了組織如何管理代碼和基礎(chǔ)架構(gòu)。通過通過CI/CD管道和基礎(chǔ)架構(gòu)(IAC)等工具標(biāo)準(zhǔn)化工作流程，這些平臺可以快速部署，減少手動錯誤以及改進的開發(fā)人員體驗。但是，他們的重點主要是運營效率，通常將數(shù)據(jù)視為事后的想法。
在當(dāng)今的AI驅(qū)動景觀中，這種遺漏變得至關(guān)重要。盡管傳統(tǒng)的IDP在管理基礎(chǔ)架構(gòu)方面表現(xiàn)出色，但在可擴展和兼容的AI創(chuàng)新所需的基礎(chǔ)元素方面，它們?nèi)狈Γ?
· 治理：確保數(shù)據(jù)符合政策和監(jiān)管標(biāo)準(zhǔn)通常是手動或孤立的努力。
· 可追溯性：如果不是完全缺少，則跟蹤數(shù)據(jù)譜系和跨工作流程的轉(zhuǎn)換是不一致的。
· 質(zhì)量：驗證數(shù)據(jù)以確?？煽啃院虯I準(zhǔn)備就緒，缺乏自動化和標(biāo)準(zhǔn)化。
為了應(yīng)對這些挑戰(zhàn)，必須將數(shù)據(jù)提升到IDP中的一流公民。數(shù)據(jù)優(yōu)先的IDP超出了IAC，直接嵌入治理，可追溯性，質(zhì)量和策略(PAC)為平臺的核心。這種方法將傳統(tǒng)的自動化轉(zhuǎn)變?yōu)橐粋€綜合框架，該框架將數(shù)據(jù)工作流與基礎(chǔ)架構(gòu)一起運行，從而使數(shù)據(jù)產(chǎn)品成為代碼(DPAC)。
該體系結(jié)構(gòu)支持諸如開放數(shù)據(jù)產(chǎn)品規(guī)范(ODP)和開放數(shù)據(jù)合同(ODC)之類的框架，該框架標(biāo)準(zhǔn)化了數(shù)據(jù)產(chǎn)品的定義和消耗方式。
盡管r esource標(biāo)識符 (RIDS)對于實現(xiàn)可追溯性和互操作性至關(guān)重要，但數(shù)據(jù)領(lǐng)先的IDP的核心位于元中元中，它提供了可擴展和兼容的數(shù)據(jù)生態(tài)系統(tǒng)所必需的結(jié)構(gòu)，規(guī)則和上下文。
數(shù)據(jù)優(yōu)先的方法：擴展自動化
模板和食譜是關(guān)鍵技術(shù)，它使IDP能夠獲得高水平的抽象并使系統(tǒng)景觀組成。
配方是一種參數(shù)化的配置IAC，它定義了如何在平臺內(nèi)提供，部署或管理特定資源或工作負(fù)載。食譜是定制的，可以重復(fù)使用以適合特定上下文或環(huán)境，從而確保標(biāo)準(zhǔn)化，同時允許特定用例的靈活性。
模板是為開發(fā)人員形成“黃金路徑”的一組食譜。用于流，API或文件的架構(gòu)設(shè)計模式，例如數(shù)據(jù)攝入模式，該模板會在交付平面中創(chuàng)建一個清單，該清單是構(gòu)建，驗證和執(zhí)行的。
數(shù)據(jù)優(yōu)先的IDP將“數(shù)據(jù)產(chǎn)品”規(guī)范添加為組件，資源，因此將其添加到IDP的配方;這可能是ODP和ODC的參數(shù)化版本。
軟件的生命周期和管理要比數(shù)據(jù)成熟得多。 DPAC的概念在改變這一點方面有很長的路要走。它使數(shù)據(jù)管理的成熟度與完善的軟件工程原理保持一致。
DPAC通過將數(shù)據(jù)視為可編程，可執(zhí)行的資產(chǎn)，將數(shù)據(jù)管理轉(zhuǎn)換，從而使其生命周期與經(jīng)過驗證的軟件開發(fā)實踐保持一致。通過彌合數(shù)據(jù)和軟件之間的成熟差距，DPAC使組織能夠以自信，治理和敏捷性擴展數(shù)據(jù)驅(qū)動的操作。隨著IAC徹底改變基礎(chǔ)設(shè)施，DPAC準(zhǔn)備重新定義我們?nèi)绾喂芾砗托湃螖?shù)據(jù)。
數(shù)據(jù)市場是一個組件，資源和食譜，它可能依賴于其他服務(wù)，例如可觀察性，數(shù)據(jù)質(zhì)量服務(wù)和圖形數(shù)據(jù)庫，它們也是CI的組件，并且是CI的一部分/CD管道。
治理和工程基線
治理和工程基線可以通過PAC通過編程方式管理，版本化和強制執(zhí)行的政策編碼。通過將治理規(guī)則和工程標(biāo)準(zhǔn)嵌入機器可讀格式(例如YAML，JSON，REGO)中，合規(guī)性是自動化的，并且跨資源一致性。
· 治理政策：治理規(guī)則定義了合規(guī)性要求，訪問控制，數(shù)據(jù)掩蓋，保留政策等。這些確保組織和監(jiān)管標(biāo)準(zhǔn)始終如一地應(yīng)用。
· 工程基線：基線建立了針對基礎(chǔ)架構(gòu)，應(yīng)用程序和數(shù)據(jù)工作流的最低技術(shù)標(biāo)準(zhǔn)，例如資源配置，管道驗證步驟和安全協(xié)議。
騎行的作用
盡管Meta-Metadata驅(qū)動數(shù)據(jù)優(yōu)先的IDP，但通過為所有與數(shù)據(jù)相關(guān)的資源提供獨特的參考來刪除其原理。 RIDS確保該體系結(jié)構(gòu)支持整個生態(tài)系統(tǒng)的可追溯性，質(zhì)量和治理。
1. 促進血統(tǒng)：RIDS是數(shù)據(jù)產(chǎn)品，存儲和計算資源的獨特參考，允許外部工具追蹤依賴性和轉(zhuǎn)換。
2. 簡化可觀察性：這允許在整個景觀中跟蹤對象。
示例騎行格式
RID：：：：<版本>
· 數(shù)據(jù)產(chǎn)品RIF：RID：客戶交易：數(shù)據(jù)產(chǎn)品：ERP-A：V1.0
· 儲藏室RED：RID：客戶交易：存儲：S3-Bucket-A：V1.0
集中管理和聯(lián)合責(zé)任與社區(qū)合作
數(shù)據(jù)優(yōu)先的IDP平衡了集中管理，聯(lián)合責(zé)任和社區(qū)合作，以創(chuàng)建一個可擴展，適應(yīng)性和合規(guī)的平臺。集中式治理為一致性和控制提供了基礎(chǔ)，而聯(lián)邦責(zé)任則使域名團隊創(chuàng)新并擁有其數(shù)據(jù)產(chǎn)品的所有權(quán)。整合社區(qū)驅(qū)動的方法會導(dǎo)致動態(tài)發(fā)展的框架，以滿足現(xiàn)實世界的需求，利用集體專業(yè)知識來完善政策，模板和食譜。
集中管理：一致性的基礎(chǔ)
集中式治理定義了全球標(biāo)準(zhǔn)，例如合規(guī)性，安全性和質(zhì)量規(guī)則，并管理關(guān)鍵基礎(chǔ)設(shè)施，例如獨特的RIDS和元數(shù)據(jù)目錄。該層提供了能夠分散執(zhí)行的工具和框架。
標(biāo)準(zhǔn)化政策
使用PAC對全球政策進行了整理，并將其集成到工作流程中以進行自動執(zhí)法。
聯(lián)合責(zé)任：左翼授權(quán)
責(zé)任和問責(zé)制被委派給域團隊，使他們能夠自定義模板，定義食譜并更接近其來源。這種左翼方法可確保在生命周期的早期使用依從性和質(zhì)量，同時保持靈活性：
· 自助服務(wù)工作流：域團隊使用自助工具來配置資源，并在后臺自動應(yīng)用策略。
· 護欄內(nèi)的自定義：團隊可以調(diào)整中央模板和政策以適合其上下文，例如針對特定領(lǐng)域的要求擴展治理規(guī)則。
· 實時驗證：自動反饋確保不遵守提早標(biāo)記，從而減少錯誤并促進問責(zé)制。
社區(qū)合作：動態(tài)和適應(yīng)性治理
環(huán)境鼓勵合作根據(jù)現(xiàn)實需求和見解發(fā)展政策，模板和食譜。這個分散的創(chuàng)新層可確保平臺保持相關(guān)和適應(yīng)性：
· 貢獻和反饋：域團隊通過版本控制的存儲庫或拉請求提出新的食譜或提出政策改進。
· 迭代改進：跨域社區(qū)審查和完善貢獻，確保與組織目標(biāo)保持一致。
· 認(rèn)可和激勵措施：激勵團隊分享最佳實踐和可重復(fù)使用的工件，從而促進協(xié)作文化。
自動化作為推動器
自動化可確保在整個平臺上始終應(yīng)用治理和標(biāo)準(zhǔn)，從而防止隨著時間的推移偏差。政策和騎行是通過編程管理的，實現(xiàn)了：
· 大規(guī)模合規(guī)：新政策是無縫集成，及早驗證的，并且沒有手動干預(yù)。
· 可衡量的結(jié)果
擴展編排并添加治理引擎
數(shù)據(jù)優(yōu)先的IDP擴展了編排引擎以自動化以數(shù)據(jù)為中心的工作流程，并引入了治理引擎，以動態(tài)執(zhí)行合規(guī)性和維護標(biāo)準(zhǔn)。
編排增強功能
· 策略集成：在工作流程期間驗證治理規(guī)則(PAC)，阻止不合規(guī)的部署。
· 資源意識：使用RIDS追蹤和執(zhí)行血統(tǒng)，質(zhì)量和合規(guī)性
· 數(shù)據(jù)A UTOMATION：自動化架構(gòu)驗證，元數(shù)據(jù)富集和譜系注冊。
治理引擎
· 集中策略：將合規(guī)性規(guī)則定義為PAC，并自動應(yīng)用它們。
· 動態(tài)執(zhí)行：監(jiān)視和補救措施不合規(guī)，以防止從標(biāo)準(zhǔn)中漂移。
· 實時反饋：在部署過程中為開發(fā)人員提供可行的見解。
這些發(fā)動機一起通過將治理嵌入工作流程，自動化可追溯性并隨著時間的推移維護標(biāo)準(zhǔn)來確保主動合規(guī)，可擴展性和開發(fā)人員的能力。
業(yè)務(wù)影響
1. 大規(guī)模治理：元米達塔和ODC確保合規(guī)規(guī)則在所有數(shù)據(jù)產(chǎn)品中都嵌入并執(zhí)行。
2. 提高生產(chǎn)率：黃金路徑減少認(rèn)知負(fù)荷，使開發(fā)人員能夠更快地提供質(zhì)量或依從性的情況。
3. 信任和透明度：ODP和RIDS確保數(shù)據(jù)產(chǎn)品可追溯和可靠，從而促進利益相關(guān)者信任。
4. AI-Ready生態(tài)系統(tǒng)：該框架可以通過減少數(shù)據(jù)準(zhǔn)備和商品化數(shù)據(jù)，并使用所有為解決方案增添價值和彈性的信息來實現(xiàn)可靠的AI模型培訓(xùn)和操作。
數(shù)據(jù)優(yōu)先的IDP成功取決于Meta-Metadata，這為治理，質(zhì)量和可追溯性奠定了基礎(chǔ)。在ODP和ODC等框架的支持下，并通過RIDS進行操作，該體系結(jié)構(gòu)降低了開發(fā)人員的復(fù)雜性，同時滿足業(yè)務(wù)對可擴展，合規(guī)性數(shù)據(jù)生態(tài)系統(tǒng)的需求。數(shù)據(jù)優(yōu)先的IDP準(zhǔn)備通過嵌入智能抽象和模塊化來為下一代AI驅(qū)動的創(chuàng)新提供動力。
下載文檔
