利用 AWS 的事件驅(qū)動(dòng)數(shù)據(jù)網(wǎng)格架構(gòu)應(yīng)對(duì)現(xiàn)代數(shù)據(jù)挑戰(zhàn)

在當(dāng)今數(shù)據(jù)驅(qū)動(dòng)的世界中，企業(yè)必須適應(yīng)數(shù)據(jù)管理、分析和利用方式的快速變化。傳統(tǒng)的集中式系統(tǒng)和整體架構(gòu)雖然在歷史上已經(jīng)足夠，但已不再足以滿足需要更快、實(shí)時(shí)訪問數(shù)據(jù)洞察的組織不斷增長(zhǎng)的需求。該領(lǐng)域的一個(gè)革命性框架是事件驅(qū)動(dòng)的數(shù)據(jù)網(wǎng)格架構(gòu)，當(dāng)與 AWS 服務(wù)相結(jié)合時(shí)，它成為解決復(fù)雜數(shù)據(jù)管理挑戰(zhàn)的強(qiáng)大解決方案。

數(shù)據(jù)困境

許多組織在依賴過時(shí)的數(shù)據(jù)架構(gòu)時(shí)面臨著重大挑戰(zhàn)。這些挑戰(zhàn)包括：

集中式、整體式且與領(lǐng)域無(wú)關(guān)的數(shù)據(jù)湖

集中式數(shù)據(jù)湖是所有數(shù)據(jù)的單一存儲(chǔ)位置，使其易于管理和訪問，但如果擴(kuò)展不當(dāng)，可能會(huì)導(dǎo)致性能問題。單一數(shù)據(jù)湖將所有數(shù)據(jù)處理流程合并到一個(gè)集成系統(tǒng)中，這簡(jiǎn)化了設(shè)置，但可能難以擴(kuò)展和維護(hù)。與領(lǐng)域無(wú)關(guān)的數(shù)據(jù)湖旨在存儲(chǔ)來自任何行業(yè)或來源的數(shù)據(jù)，提供靈活性和廣泛的適用性，但管理起來可能很復(fù)雜，并且針對(duì)特定用途的優(yōu)化程度較低。

傳統(tǒng)架構(gòu)故障壓力點(diǎn)

集中式數(shù)據(jù)架構(gòu)

在傳統(tǒng)的數(shù)據(jù)系統(tǒng)中，可能會(huì)出現(xiàn)幾個(gè)問題。數(shù)據(jù)生產(chǎn)者可能會(huì)發(fā)送大量數(shù)據(jù)或有錯(cuò)誤的數(shù)據(jù)，從而在下游產(chǎn)生問題。隨著數(shù)據(jù)復(fù)雜性的增加以及系統(tǒng)來源的多樣化，集中式數(shù)據(jù)平臺(tái)可能難以處理不斷增長(zhǎng)的負(fù)載，從而導(dǎo)致崩潰和性能下降。對(duì)快速實(shí)驗(yàn)的需求增加可能會(huì)使系統(tǒng)不堪重負(fù)，從而難以快速適應(yīng)和測(cè)試新想法。數(shù)據(jù)響應(yīng)時(shí)間可能成為一個(gè)挑戰(zhàn)，導(dǎo)致訪問和使用數(shù)據(jù)的延遲，從而影響決策和整體效率。

運(yùn)營(yíng)數(shù)據(jù)環(huán)境和分析數(shù)據(jù)環(huán)境之間的差異

在軟件架構(gòu)中，孤立的所有權(quán)、不明確的數(shù)據(jù)使用、緊密耦合的數(shù)據(jù)管道和固有的限制等問題可能會(huì)導(dǎo)致嚴(yán)重的問題。當(dāng)不同的團(tuán)隊(duì)孤立工作時(shí)，就會(huì)出現(xiàn)孤立的所有權(quán)，從而導(dǎo)致協(xié)調(diào)問題和效率低下。對(duì)如何使用或共享數(shù)據(jù)缺乏清晰的了解可能會(huì)導(dǎo)致重復(fù)工作和不一致的結(jié)果。耦合數(shù)據(jù)管道(組件之間過于依賴)使得系統(tǒng)難以適應(yīng)或擴(kuò)展，從而導(dǎo)致延遲。最后，系統(tǒng)的固有限制可能會(huì)減慢新功能和更新的交付速度，從而阻礙整體進(jìn)展。解決這些壓力點(diǎn)對(duì)于提高開發(fā)流程的效率和響應(yīng)速度至關(guān)重要。

大數(shù)據(jù)的挑戰(zhàn)

在線分析處理 (OLAP) 系統(tǒng)以一種使分析人員更容易探索數(shù)據(jù)不同方面的方式組織數(shù)據(jù)。為了回答查詢，這些系統(tǒng)必須將操作數(shù)據(jù)轉(zhuǎn)換為適合分析和處理大量數(shù)據(jù)的格式。傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)使用ETL(提取、轉(zhuǎn)換、加載)流程來管理此過程。大數(shù)據(jù)技術(shù)，例如Apache Hadoop，通過解決擴(kuò)展問題和開源改進(jìn)了數(shù)據(jù)倉(cāng)庫(kù)，這使得任何公司只要能夠管理基礎(chǔ)設(shè)施就可以使用它。 Hadoop 引入了一種新方法，允許使用非結(jié)構(gòu)化或半結(jié)構(gòu)化數(shù)據(jù)，而不是預(yù)先強(qiáng)制執(zhí)行嚴(yán)格的模式。這種靈活性可以在沒有預(yù)定義模式的情況下寫入數(shù)據(jù)，并在稍后的查詢過程中進(jìn)行結(jié)構(gòu)化，使數(shù)據(jù)工程師可以更輕松地處理和集成數(shù)據(jù)。采用 Hadoop 通常意味著組建一個(gè)獨(dú)立的數(shù)據(jù)團(tuán)隊(duì)：數(shù)據(jù)工程師負(fù)責(zé)數(shù)據(jù)提取，數(shù)據(jù)科學(xué)家負(fù)責(zé)清理和重組，數(shù)據(jù)分析師負(fù)責(zé)分析。由于數(shù)據(jù)團(tuán)隊(duì)和應(yīng)用程序開發(fā)人員之間的溝通有限，這種設(shè)置有時(shí)會(huì)導(dǎo)致問題，通常是為了防止影響生產(chǎn)系統(tǒng)。

問題 1：數(shù)據(jù)模型邊界問題

用于分析的數(shù)據(jù)與其原始結(jié)構(gòu)密切相關(guān)，這對(duì)于復(fù)雜且頻繁更新的模型來說可能會(huì)出現(xiàn)問題。數(shù)據(jù)模型的更改會(huì)影響所有用戶，使他們?nèi)菀资艿竭@些更改的影響，尤其是當(dāng)模型涉及許多表時(shí)。

問題 2：不良數(shù)據(jù)，忽視問題的代價(jià)

不良數(shù)據(jù)通常會(huì)被忽視，直到它導(dǎo)致架構(gòu)出現(xiàn)問題，從而導(dǎo)致數(shù)據(jù)類型不正確等問題。由于驗(yàn)證通常會(huì)延遲到流程結(jié)束，因此不良數(shù)據(jù)可能會(huì)通過管道傳播，從而導(dǎo)致昂貴的修復(fù)和不一致的解決方案。不良數(shù)據(jù)可能會(huì)導(dǎo)致重大業(yè)務(wù)損失，例如計(jì)費(fèi)錯(cuò)誤造成數(shù)百萬(wàn)美元的損失。研究表明，不良數(shù)據(jù)每年給企業(yè)造成數(shù)萬(wàn)億美元的損失，浪費(fèi)了知識(shí)工作者和數(shù)據(jù)科學(xué)家的大量時(shí)間。

問題3：缺乏單一所有權(quán)

應(yīng)用程序開發(fā)人員是源數(shù)據(jù)模型方面的專家，通常不會(huì)將此信息傳達(dá)給其他團(tuán)隊(duì)。他們的職責(zé)通常終止于應(yīng)用程序和數(shù)據(jù)庫(kù)邊界。管理數(shù)據(jù)提取和移動(dòng)的數(shù)據(jù)工程師通常是被動(dòng)工作，并且對(duì)數(shù)據(jù)源的控制有限。數(shù)據(jù)分析師遠(yuǎn)離開發(fā)人員，他們收到的數(shù)據(jù)面臨挑戰(zhàn)，導(dǎo)致協(xié)調(diào)問題和需要單獨(dú)的解決方案。

問題 4：自定義數(shù)據(jù)連接

在大型組織中，多個(gè)團(tuán)隊(duì)可能使用相同的數(shù)據(jù)，但創(chuàng)建自己的管理流程。這會(huì)產(chǎn)生多個(gè)數(shù)據(jù)副本，每個(gè)副本都獨(dú)立管理，從而造成混亂。跟蹤 ETL 作業(yè)并確保數(shù)據(jù)質(zhì)量變得困難，從而導(dǎo)致由于同步問題和數(shù)據(jù)源安全性較低等因素而導(dǎo)致不準(zhǔn)確。這種分散的方法浪費(fèi)了時(shí)間、金錢和機(jī)會(huì)。

數(shù)據(jù)網(wǎng)格通過將數(shù)據(jù)視為具有清晰架構(gòu)、文檔和標(biāo)準(zhǔn)化訪問的產(chǎn)品來解決這些問題，從而降低不良數(shù)據(jù)風(fēng)險(xiǎn)并提高數(shù)據(jù)準(zhǔn)確性和效率。

數(shù)據(jù)網(wǎng)格：現(xiàn)代方法

數(shù)據(jù)網(wǎng)格架構(gòu)

數(shù)據(jù)網(wǎng)格通過分散所有權(quán)并將數(shù)據(jù)視為由自助服務(wù)基礎(chǔ)設(shè)施支持的產(chǎn)品，重新定義了數(shù)據(jù)管理。這種轉(zhuǎn)變使團(tuán)隊(duì)能夠完全控制其數(shù)據(jù)，同時(shí)聯(lián)合治理可確保整個(gè)組織的質(zhì)量、合規(guī)性和可擴(kuò)展性。

簡(jiǎn)單來說，它是一個(gè)架構(gòu)框架，旨在通過使用去中心化所有權(quán)和分布式方法來解決復(fù)雜的數(shù)據(jù)挑戰(zhàn)。它用于集成來自各個(gè)業(yè)務(wù)領(lǐng)域的數(shù)據(jù)以進(jìn)行全面的數(shù)據(jù)分析。它還建立在強(qiáng)大的數(shù)據(jù)共享和治理政策之上。

數(shù)據(jù)網(wǎng)格的目標(biāo)

數(shù)據(jù)網(wǎng)格幫助各種組織獲得對(duì)大規(guī)模數(shù)據(jù)的一些有價(jià)值的見解;簡(jiǎn)而言之，處理不斷變化的數(shù)據(jù)環(huán)境、不斷增長(zhǎng)的數(shù)據(jù)源和用戶數(shù)量、所需的各種數(shù)據(jù)轉(zhuǎn)換以及快速適應(yīng)變化的需求。

數(shù)據(jù)網(wǎng)格通過分散控制解決了上述所有問題，因此團(tuán)隊(duì)可以管理自己的數(shù)據(jù)，而無(wú)需將其隔離在不同的部門。這種方法通過分布式數(shù)據(jù)處理和存儲(chǔ)來提高可擴(kuò)展性，這有助于避免單個(gè)中央系統(tǒng)的速度變慢。它允許團(tuán)隊(duì)直接使用自己的數(shù)據(jù)，從而減少因等待中央團(tuán)隊(duì)而造成的延遲，從而加快洞察速度。每個(gè)團(tuán)隊(duì)對(duì)自己的數(shù)據(jù)負(fù)責(zé)，這提高了質(zhì)量和一致性。通過使用易于理解的數(shù)據(jù)產(chǎn)品和自助服務(wù)工具，數(shù)據(jù)網(wǎng)格確保所有團(tuán)隊(duì)都可以快速訪問和管理其數(shù)據(jù)，從而實(shí)現(xiàn)更快、更高效的運(yùn)營(yíng)并更好地滿足業(yè)務(wù)需求。

數(shù)據(jù)網(wǎng)格的關(guān)鍵原理

· 分散的數(shù)據(jù)所有權(quán)：團(tuán)隊(duì)擁有并管理他們的數(shù)據(jù)產(chǎn)品，使他們對(duì)其質(zhì)量和可用性負(fù)責(zé)。

· 數(shù)據(jù)作為產(chǎn)品：數(shù)據(jù)被視為具有標(biāo)準(zhǔn)化訪問、版本控制和模式定義的產(chǎn)品，確?？绮块T的一致性和易用性。

· 聯(lián)合治理：制定政策是為了維護(hù)數(shù)據(jù)完整性、安全性和合規(guī)性，同時(shí)仍然允許分散所有權(quán)。

· 自助服務(wù)基礎(chǔ)設(shè)施：團(tuán)隊(duì)可以訪問可擴(kuò)展的基礎(chǔ)設(shè)施，支持?jǐn)?shù)據(jù)的攝取、處理和查詢，而不會(huì)出現(xiàn)瓶頸或依賴集中式數(shù)據(jù)團(tuán)隊(duì)。

事件如何幫助數(shù)據(jù)網(wǎng)格?

事件允許系統(tǒng)的不同部分實(shí)時(shí)共享和更新數(shù)據(jù)，從而幫助數(shù)據(jù)網(wǎng)格。當(dāng)一個(gè)區(qū)域發(fā)生變化時(shí)，會(huì)通過一個(gè)事件通知其他區(qū)域，這樣每個(gè)人都可以了解最新情況，而無(wú)需直接聯(lián)系。這使得系統(tǒng)更加靈活和可擴(kuò)展，因?yàn)樗梢蕴幚泶罅繑?shù)據(jù)并輕松適應(yīng)變化。事件還可以更輕松地跟蹤數(shù)據(jù)的使用和管理方式，并讓每個(gè)團(tuán)隊(duì)處理自己的數(shù)據(jù)而不依賴其他團(tuán)隊(duì)。

最后，讓我們看看事件驅(qū)動(dòng)的數(shù)據(jù)網(wǎng)格架構(gòu)。

事件驅(qū)動(dòng)的數(shù)據(jù)網(wǎng)格架構(gòu)

這種事件驅(qū)動(dòng)的方法使我們能夠?qū)?shù)據(jù)的生產(chǎn)者與消費(fèi)者分開，使系統(tǒng)隨著領(lǐng)域隨著時(shí)間的推移而發(fā)展而更具可擴(kuò)展性，而無(wú)需對(duì)架構(gòu)進(jìn)行重大更改。生產(chǎn)者負(fù)責(zé)生成事件，然后將其發(fā)送到數(shù)據(jù)傳輸系統(tǒng)。流媒體平臺(tái)確保這些事件可靠地傳遞。當(dāng)生產(chǎn)者微服務(wù)或數(shù)據(jù)存儲(chǔ)發(fā)布新事件時(shí)，它會(huì)存儲(chǔ)在特定主題中。這會(huì)觸發(fā)消費(fèi)者端的偵聽器(例如 Lambda 函數(shù)或 Kinesis)來處理事件并根據(jù)需要使用它。

利用 AWS 實(shí)現(xiàn)事件驅(qū)動(dòng)的數(shù)據(jù)網(wǎng)格架構(gòu)

AWS 提供了一套服務(wù)，完美補(bǔ)充了事件驅(qū)動(dòng)的數(shù)據(jù)網(wǎng)格模型，使組織能夠擴(kuò)展其數(shù)據(jù)基礎(chǔ)設(shè)施、確保實(shí)時(shí)數(shù)據(jù)交付并維持高水平的治理和安全性。

以下是各種 AWS 服務(wù)如何融入此架構(gòu)：

用于實(shí)時(shí)事件流的 AWS Kinesis

在事件驅(qū)動(dòng)的數(shù)據(jù)網(wǎng)格中，實(shí)時(shí)流是一個(gè)關(guān)鍵要素。 AWS Kinesis 提供大規(guī)模收集、處理和分析實(shí)時(shí)流數(shù)據(jù)的能力。

Kinesis 提供了多個(gè)組件：

· Kinesis Data Streams：攝取實(shí)時(shí)事件并與多個(gè)使用者同時(shí)處理它們。

· Kinesis Data Firehos e：將事件流直接傳送到 S3、Redshift 或 Elastic 搜索以進(jìn)行進(jìn)一步處理和分析。

· Kinesis Data Analytics：實(shí)時(shí)處理數(shù)據(jù)以動(dòng)態(tài)獲取見解，從而在數(shù)據(jù)處理管道中實(shí)現(xiàn)即時(shí)反饋循環(huán)。

用于事件處理的 AWS Lambda

AWS Lambda 是數(shù)據(jù)網(wǎng)格架構(gòu)中無(wú)服務(wù)器事件處理的支柱。憑借其自動(dòng)擴(kuò)展和處理傳入數(shù)據(jù)流的能力，無(wú)需服務(wù)器管理，

Lambda 是以下方面的理想選擇：

· 實(shí)時(shí)處理 Kinesis 流

· 調(diào)用API網(wǎng)關(guān)請(qǐng)求以響應(yīng)特定事件

· 與 DynamoDB、S3 或其他 AWS 服務(wù)交互以存儲(chǔ)、處理或分析數(shù)據(jù)

用于事件分發(fā)的 AWS SNS 和 SQS

AWS Simple Notification Service (SNS) 充當(dāng)主要事件廣播系統(tǒng)，跨分布式系統(tǒng)發(fā)送實(shí)時(shí)通知。 AWS Simple Queue Service (SQS) 確保解耦服務(wù)之間的消息可靠傳遞，即使在部分系統(tǒng)發(fā)生故障的情況下也是如此。這些服務(wù)允許解耦的微服務(wù)在沒有直接依賴的情況下進(jìn)行交互，從而確保系統(tǒng)保持可擴(kuò)展性和容錯(cuò)性。

用于實(shí)時(shí)數(shù)據(jù)管理的 AWS DynamoDB

在去中心化架構(gòu)中，DynamoDB 提供可擴(kuò)展、低延遲的 NoSQL 數(shù)據(jù)庫(kù)，可以實(shí)時(shí)存儲(chǔ)事件數(shù)據(jù)，非常適合存儲(chǔ)數(shù)據(jù)處理管道的結(jié)果。它支持發(fā)件箱模式，其中應(yīng)用程序生成的事件存儲(chǔ)

在 DynamoDB 中并由流服務(wù)(例如 Kinesis 或 Kafka)使用。

用于聯(lián)合數(shù)據(jù)目錄和 ETL 的 AWS Glue

AWS Glue 提供完全托管的數(shù)據(jù)目錄和 ETL 服務(wù)，這對(duì)于數(shù)據(jù)網(wǎng)格中的聯(lián)合數(shù)據(jù)治理至關(guān)重要。 Glue 可幫助編目、準(zhǔn)備和轉(zhuǎn)換分布式域中的數(shù)據(jù)，確保整個(gè)組織的可發(fā)現(xiàn)性、治理和集成。

適用于數(shù)據(jù)湖的 AWS Lake Formation 和 S3

雖然數(shù)據(jù)網(wǎng)格架構(gòu)逐漸遠(yuǎn)離集中式數(shù)據(jù)湖，但 S3 和 AWS Lake Formation 在存儲(chǔ)、保護(hù)和編目不同域之間流動(dòng)的數(shù)據(jù)方面發(fā)揮著至關(guān)重要的作用，從而確保長(zhǎng)期存儲(chǔ)、治理和合規(guī)性。

使用 AWS 和 Python 運(yùn)行事件驅(qū)動(dòng)的數(shù)據(jù)網(wǎng)格

事件制作者：AWS Kinesis + Python

在此示例中，我們?cè)趧?chuàng)建新客戶時(shí)使用 AWS Kinesis 來流式傳輸事件：

import boto3

import json

kinesis = boto3.client('kinesis')

def send_event(event):

kinesis.put_record(

StreamName="CustomerStream",

Data=json.dumps(event),

PartitionKey=event['customer_id']

)

def create_customer_event(customer_id, name):

event = {

'event_type': 'CustomerCreated',

'customer_id': customer_id,

'name': name

}

send_event(event)

# Simulate a new customer creation

create_customer_event('123', 'ABC XYZ')

事件處理：AWS Lambda + Python

此 Lambda 函數(shù)使用 Kinesis 事件并實(shí)時(shí)處理它們。

import json

import boto3

dynamodb = boto3.resource('dynamodb')

table = dynamodb.Table('CustomerData')

def lambda_handler(event, context):

for record in event['Records']:

payload = json.loads(record['kinesis']['data'])

if payload['event_type'] == 'CustomerCreated':

process_customer_created(payload)

def process_customer_created(event):

table.put_item(

Item={

'customer_id': event['customer_id'],

'name': event['name']

}

)

print(f"Stored customer data: {event['customer_id']} - {event['name']}")

結(jié)論

通過利用 Kinesis、Lambda、DynamoDB 和 Glue 等 AWS 服務(wù)，組織可以充分發(fā)揮事件驅(qū)動(dòng)的數(shù)據(jù)網(wǎng)格架構(gòu)的潛力。該架構(gòu)提供敏捷性、可擴(kuò)展性和實(shí)時(shí)洞察力，確保組織在當(dāng)今快速發(fā)展的數(shù)據(jù)環(huán)境中保持競(jìng)爭(zhēng)力。對(duì)于希望在大數(shù)據(jù)和分布式系統(tǒng)時(shí)代蓬勃發(fā)展的企業(yè)來說，采用事件驅(qū)動(dòng)的數(shù)據(jù)網(wǎng)格架構(gòu)不僅是技術(shù)的增強(qiáng)，而且是戰(zhàn)略上的當(dāng)務(wù)之急。