AWS寧夏區(qū)域上線(xiàn)兩項(xiàng)新服務(wù)：AWS Glue和Amazon Athena

3月24日，AWS今天宣布，AWS Glue、Amazon Athena在由西云數(shù)據(jù)運(yùn)營(yíng)的AWS中國(guó)（寧夏）區(qū)域正式上線(xiàn)。

AWS Glue全新的ETL服務(wù)

據(jù)介紹，AWS Glue是一種全托管的數(shù)據(jù)提取、轉(zhuǎn)換和加載 (ETL) 服務(wù)及元數(shù)據(jù)目錄。它讓客戶(hù)更容易準(zhǔn)備數(shù)據(jù)，加載數(shù)據(jù)到數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)湖，用于數(shù)據(jù)分析。使用AWS Glue，在幾分鐘之內(nèi)便可以準(zhǔn)備好數(shù)據(jù)用于分析。由于AWS Glue是無(wú)服務(wù)器服務(wù)，客戶(hù)在執(zhí)行ETL任務(wù)時(shí)，只需要為他們所消耗的計(jì)算資源付費(fèi)。

客戶(hù)在使用數(shù)據(jù)湖架構(gòu)實(shí)現(xiàn)數(shù)據(jù)分析解決方案時(shí)，通常有75%的時(shí)間花在數(shù)據(jù)集成任務(wù)上，需要從各種數(shù)據(jù)源提取數(shù)據(jù)，對(duì)其進(jìn)行規(guī)范化，并將其加載到數(shù)據(jù)存儲(chǔ)中。AWS Glue消除了ETL作業(yè)基礎(chǔ)設(shè)施方面的所有重復(fù)勞動(dòng)，讓Amazon S3數(shù)據(jù)湖中的數(shù)據(jù)集可以被發(fā)現(xiàn)、可用于查詢(xún)和分析，極大地縮短分析項(xiàng)目中做ETL和數(shù)據(jù)編目階段的時(shí)間，讓ETL變得很容易。

具體而言，AWS Glue在從客戶(hù)選擇的數(shù)據(jù)源把數(shù)據(jù)爬取出來(lái)之后，會(huì)自動(dòng)識(shí)別數(shù)據(jù)格式和模式（schema），構(gòu)建統(tǒng)一的數(shù)據(jù)目錄，并為客戶(hù)提供所選數(shù)據(jù)的中央視圖。這使得客戶(hù)很容易跨越各種數(shù)據(jù)存儲(chǔ)，檢索和管理所有數(shù)據(jù)，而不必手動(dòng)搬運(yùn)它們。當(dāng)客戶(hù)從數(shù)據(jù)目錄中標(biāo)識(shí)出數(shù)據(jù)源（例如一個(gè)數(shù)據(jù)庫(kù)表) 和數(shù)據(jù)目標(biāo) (例如一個(gè)數(shù)據(jù)倉(cāng)庫(kù)) 時(shí)，AWS Glue將匹配相應(yīng)的模式，生成可定制、可重用、可移植、可共享的數(shù)據(jù)轉(zhuǎn)換代碼。開(kāi)發(fā)人員可以調(diào)度任意數(shù)量的ETL作業(yè)，AWS Glue則會(huì)管理其余的工作，根據(jù)客戶(hù)ETL工作負(fù)載自動(dòng)啟用或關(guān)閉計(jì)算資源。通過(guò)簡(jiǎn)化創(chuàng)建ETL作業(yè)的過(guò)程，AWS Glue讓客戶(hù)可以構(gòu)建可伸縮、可靠的數(shù)據(jù)準(zhǔn)備平臺(tái)。這些平臺(tái)可以跨越數(shù)千個(gè)ETL作業(yè)，具有內(nèi)置的依賴(lài)性解析、調(diào)度、資源管理和監(jiān)控功能。

據(jù)了解，目前包括德比軟件、嘉云數(shù)據(jù)、殼木軟件和趣加等在內(nèi)的諸多中國(guó)客戶(hù)都在使用AWS Glue解決復(fù)雜的數(shù)據(jù)挑戰(zhàn)。

Amazon Athena全新的即用即付交互式查詢(xún)服務(wù)

據(jù)介紹，Amazon Athena是一種交互式查詢(xún)服務(wù)，它讓客戶(hù)可以使用標(biāo)準(zhǔn)SQL語(yǔ)言、輕松分析Amazon Simple Storage Service (Amazon S3) 中的數(shù)據(jù)。由于Athena是一種無(wú)服務(wù)器服務(wù)，因此客戶(hù)不需要管理基礎(chǔ)設(shè)施，而且只為他們運(yùn)行的查詢(xún)付費(fèi)。Athena可以自動(dòng)擴(kuò)展，并行執(zhí)行查詢(xún)，所以即便是大型數(shù)據(jù)集和復(fù)雜的查詢(xún)，也能很快獲得查詢(xún)結(jié)果。

具體而言，AWS提供了諸如Amazon Redshift和Amazon Elastic MapReduce (Amazon EMR) 等分析服務(wù)，讓各種規(guī)模的公司都可以實(shí)現(xiàn)PB級(jí)數(shù)據(jù)的分析。通過(guò)Amazon Redshift，客戶(hù)可以對(duì)大規(guī)模的結(jié)構(gòu)化數(shù)據(jù)執(zhí)行復(fù)雜的查詢(xún)，并獲得超高速的性能。對(duì)于非結(jié)構(gòu)化數(shù)據(jù)，Amazon EMR使用流行的分布式框架，例如Apache Spark、Presto、Hive和Pig，橫跨多個(gè)可動(dòng)態(tài)伸縮的集群，處理和分析大量數(shù)據(jù)，快速又經(jīng)濟(jì)。雖然這些服務(wù)是可伸縮的，而且足夠強(qiáng)大到可以處理大且復(fù)雜的大數(shù)據(jù)應(yīng)用，但是，許多客戶(hù)也希望能夠很快地查詢(xún)Amazon S3上的數(shù)據(jù)，例如web日志、點(diǎn)擊流、原始日志文件等，而無(wú)需開(kāi)啟、配置和管理Hadoop集群或數(shù)據(jù)倉(cāng)庫(kù)?，F(xiàn)在，使用Athena分析Amazon S3中的數(shù)據(jù)就像編寫(xiě)SQL查詢(xún)一樣簡(jiǎn)單。Athena使用完整支持標(biāo)準(zhǔn)SQL的Presto，可以處理各種標(biāo)準(zhǔn)數(shù)據(jù)格式，包括CSV、JSON、ORC和Parquet。因?yàn)锳thena使用多個(gè)可用區(qū)的計(jì)算資源執(zhí)行查詢(xún)，而且使用Amazon S3作為底層數(shù)據(jù)存儲(chǔ)，所以它具有高可用性和持久性，數(shù)據(jù)冗余存儲(chǔ)在多處基礎(chǔ)設(shè)施中，并且是每處基礎(chǔ)設(shè)施上的多個(gè)設(shè)備上。

據(jù)悉，憑借快速、易用、經(jīng)濟(jì)和靈活的特性，Amazon Athena已經(jīng)獲得茄子快傳、大宇無(wú)限、匯量科技、殼木軟件等諸多中國(guó)客戶(hù)的信賴(lài)。