批處理框架?Spring?Batch?這么強(qiáng)，你會(huì)用嗎？
[導(dǎo)讀]springbatch簡(jiǎn)介springbatch是spring提供的一個(gè)數(shù)據(jù)處理框架。企業(yè)域中的許多應(yīng)用程序需要批量處理才能在關(guān)鍵任務(wù)環(huán)境中執(zhí)行業(yè)務(wù)操作。這些業(yè)務(wù)運(yùn)營(yíng)包括：無需用戶交互即可最有效地處理大量信息的自動(dòng)化，復(fù)雜處理。這些操作通常包括基于時(shí)間的事件（例如月末計(jì)算，通知或...
spring batch簡(jiǎn)介
spring batch是spring提供的一個(gè)數(shù)據(jù)處理框架。企業(yè)域中的許多應(yīng)用程序需要批量處理才能在關(guān)鍵任務(wù)環(huán)境中執(zhí)行業(yè)務(wù)操作。這些業(yè)務(wù)運(yùn)營(yíng)包括：- 無需用戶交互即可最有效地處理大量信息的自動(dòng)化，復(fù)雜處理。這些操作通常包括基于時(shí)間的事件（例如月末計(jì)算，通知或通信）。
- 在非常大的數(shù)據(jù)集中重復(fù)處理復(fù)雜業(yè)務(wù)規(guī)則的定期應(yīng)用（例如，保險(xiǎn)利益確定或費(fèi)率調(diào)整）。
- 集成從內(nèi)部和外部系統(tǒng)接收的信息，這些信息通常需要以事務(wù)方式格式化，驗(yàn)證和處理到記錄系統(tǒng)中。批處理用于每天為企業(yè)處理數(shù)十億的交易。
Spring Batch架構(gòu)介紹
一個(gè)典型的批處理應(yīng)用程序大致如下：- 從數(shù)據(jù)庫(kù)，文件或隊(duì)列中讀取大量記錄。
- 以某種方式處理數(shù)據(jù)。
- 以修改之后的形式寫回?cái)?shù)據(jù)。
Spring Batch核心概念介紹
下面是一些概念是Spring batch框架中的核心概念。什么是Job
Job和Step是spring batch執(zhí)行批處理任務(wù)最為核心的兩個(gè)概念。其中Job是一個(gè)封裝整個(gè)批處理過程的一個(gè)概念。Job在spring batch的體系當(dāng)中只是一個(gè)最頂層的一個(gè)抽象概念，體現(xiàn)在代碼當(dāng)中則它只是一個(gè)最上層的接口，其代碼如下:/**
?*?Batch?domain?object?representing?a?job.?Job?is?an?explicit?abstraction
?*?representing?the?configuration?of?a?job?specified?by?a?developer.?It?should
?*?be?noted?that?restart?policy?is?applied?to?the?job?as?a?whole?and?not?to?a
?*?step.
?*/
public?interface?Job?{
?
?String?getName();
?
?
?boolean?isRestartable();
?
?
?void?execute(JobExecution?execution);
?
?
?JobParametersIncrementer?getJobParametersIncrementer();
?
?
?JobParametersValidator?getJobParametersValidator();
?
}
在Job這個(gè)接口當(dāng)中定義了五個(gè)方法，它的實(shí)現(xiàn)類主要有兩種類型的job，一個(gè)是simplejob，另一個(gè)是flowjob。在spring batch當(dāng)中，job是最頂層的抽象，除job之外我們還有JobInstance以及JobExecution這兩個(gè)更加底層的抽象。一個(gè)job是我們運(yùn)行的基本單位，它內(nèi)部由step組成。job本質(zhì)上可以看成step的一個(gè)容器。一個(gè)job可以按照指定的邏輯順序組合step，并提供了我們給所有step設(shè)置相同屬性的方法，例如一些事件監(jiān)聽，跳過策略。Spring Batch以SimpleJob類的形式提供了Job接口的默認(rèn)簡(jiǎn)單實(shí)現(xiàn)，它在Job之上創(chuàng)建了一些標(biāo)準(zhǔn)功能。一個(gè)使用java config的例子代碼如下：@Bean
public?Job?footballJob()?{
????return?this.jobBuilderFactory.get("footballJob")
?????????????????????.start(playerLoad())
?????????????????????.next(gameLoad())
?????????????????????.next(playerSummarization())
?????????????????????.end()
?????????????????????.build();
}
這個(gè)配置的意思是：首先給這個(gè)job起了一個(gè)名字叫footballJob，接著指定了這個(gè)job的三個(gè)step，他們分別由方法，playerLoad,gameLoad, playerSummarization實(shí)現(xiàn)。什么是JobInstance
我們?cè)谏衔囊呀?jīng)提到了JobInstance，他是Job的更加底層的一個(gè)抽象，他的定義如下：public?interface?JobInstance?{
?/**
??*?Get?unique?id?for?this?JobInstance.
??*?@return?instance?id
??*/
?public?long?getInstanceId();
?/**
??*?Get?job?name.
??*?@return?value?of?'id'?attribute?from?
??*/
?public?String?getJobName();?
}
他的方法很簡(jiǎn)單，一個(gè)是返回Job的id，另一個(gè)是返回Job的名字。JobInstance指的是job運(yùn)行當(dāng)中，作業(yè)執(zhí)行過程當(dāng)中的概念。Instance本就是實(shí)例的意思。比如說現(xiàn)在有一個(gè)批處理的job，它的功能是在一天結(jié)束時(shí)執(zhí)行行一次。我們假定這個(gè)批處理job的名字為'EndOfDay'。在這個(gè)情況下，那么每天就會(huì)有一個(gè)邏輯意義上的JobInstance, 而我們必須記錄job的每次運(yùn)行的情況。什么是JobParameters
在上文當(dāng)中我們提到了，同一個(gè)job每天運(yùn)行一次的話，那么每天都有一個(gè)jobIntsance，但他們的job定義都是一樣的，那么我們?cè)趺磥韰^(qū)別一個(gè)job的不同jobinstance了。不妨先做個(gè)猜想，雖然jobinstance的job定義一樣，但是他們有的東西就不一樣，例如運(yùn)行時(shí)間。spring batch中提供的用來標(biāo)識(shí)一個(gè)jobinstance的東西是：JobParameters。JobParameters對(duì)象包含一組用于啟動(dòng)批處理作業(yè)的參數(shù)，它可以在運(yùn)行期間用于識(shí)別或甚至用作參考數(shù)據(jù)。我們假設(shè)的運(yùn)行時(shí)間，就可以作為一個(gè)JobParameters。例如, 我們前面的'EndOfDay'的job現(xiàn)在已經(jīng)有了兩個(gè)實(shí)例，一個(gè)產(chǎn)生于1月1日，另一個(gè)產(chǎn)生于1月2日，那么我們就可以定義兩個(gè)JobParameter對(duì)象：一個(gè)的參數(shù)是01-01, 另一個(gè)的參數(shù)是01-02。因此，識(shí)別一個(gè)JobInstance的方法可以定義為：什么是JobExecution
JobExecution指的是單次嘗試運(yùn)行一個(gè)我們定義好的Job的代碼層面的概念。job的一次執(zhí)行可能以失敗也可能成功。只有當(dāng)執(zhí)行成功完成時(shí)，給定的與執(zhí)行相對(duì)應(yīng)的JobInstance才也被視為完成。還是以前面描述的EndOfDay的job作為示例，假設(shè)第一次運(yùn)行01-01-2019的JobInstance結(jié)果是失敗。那么此時(shí)如果使用與第一次運(yùn)行相同的Jobparameter參數(shù)（即01-01-2019）作業(yè)參數(shù)再次運(yùn)行，那么就會(huì)創(chuàng)建一個(gè)對(duì)應(yīng)于之前jobInstance的一個(gè)新的JobExecution實(shí)例,JobInstance仍然只有一個(gè)。JobExecution的接口定義如下：public?interface?JobExecution?{
?/**
??*?Get?unique?id?for?this?JobExecution.
??*?@return?execution?id
??*/
?public?long?getExecutionId();
?/**
??*?Get?job?name.
??*?@return?value?of?'id'?attribute?from?
??*/
?public?String?getJobName();?
?/**
??*?Get?batch?status?of?this?execution.
??*?@return?batch?status?value.
??*/
?public?BatchStatus?getBatchStatus();
?/**
??*?Get?time?execution?entered?STARTED?status.?
??*?@return?date?(time)
??*/
?public?Date?getStartTime();
?/**
??*?Get?time?execution?entered?end?status:?COMPLETED,?STOPPED,?FAILED?
??*?@return?date?(time)
??*/
?public?Date?getEndTime();
?/**
??*?Get?execution?exit?status.
??*?@return?exit?status.
??*/
?public?String?getExitStatus();
?/**
??*?Get?time?execution?was?created.
??*?@return?date?(time)
??*/
?public?Date?getCreateTime();
?/**
??*?Get?time?execution?was?last?updated?updated.
??*?@return?date?(time)
??*/
?public?Date?getLastUpdatedTime();
?/**
??*?Get?job?parameters?for?this?execution.
??*?@return?job?parameters??
??*/
?public?Properties?getJobParameters();
?
}
每一個(gè)方法的注釋已經(jīng)解釋的很清楚，這里不再多做解釋。只提一下BatchStatus，JobExecution當(dāng)中提供了一個(gè)方法getBatchStatus用于獲取一個(gè)job某一次特地執(zhí)行的一個(gè)狀態(tài)。BatchStatus是一個(gè)代表job狀態(tài)的枚舉類，其定義如下：public?enum?BatchStatus?{STARTING,?STARTED,?STOPPING,?
???STOPPED,?FAILED,?COMPLETED,?ABANDONED?}
這些屬性對(duì)于一個(gè)job的執(zhí)行來說是非常關(guān)鍵的信息，并且spring batch會(huì)將他們持久到數(shù)據(jù)庫(kù)當(dāng)中. 在使用Spring batch的過程當(dāng)中spring batch會(huì)自動(dòng)創(chuàng)建一些表用于存儲(chǔ)一些job相關(guān)的信息，用于存儲(chǔ)JobExecution的表為batch_job_execution,下面是一個(gè)從數(shù)據(jù)庫(kù)當(dāng)中截圖的實(shí)例：什么是Step
每一個(gè)Step對(duì)象都封裝了批處理作業(yè)的一個(gè)獨(dú)立的階段。事實(shí)上，每一個(gè)Job本質(zhì)上都是由一個(gè)或多個(gè)步驟組成。每一個(gè)step包含定義和控制實(shí)際批處理所需的所有信息。任何特定的內(nèi)容都由編寫Job的開發(fā)人員自行決定。一個(gè)step可以非常簡(jiǎn)單也可以非常復(fù)雜。例如，一個(gè)step的功能是將文件中的數(shù)據(jù)加載到數(shù)據(jù)庫(kù)中，那么基于現(xiàn)在spring batch的支持則幾乎不需要寫代碼。更復(fù)雜的step可能具有復(fù)雜的業(yè)務(wù)邏輯，這些邏輯作為處理的一部分。與Job一樣，Step具有與JobExecution類似的StepExecution，如下圖所示：什么是StepExecution
StepExecution表示一次執(zhí)行Step, 每次運(yùn)行一個(gè)Step時(shí)都會(huì)創(chuàng)建一個(gè)新的StepExecution，類似于JobExecution。但是，某個(gè)步驟可能由于其之前的步驟失敗而無法執(zhí)行。且僅當(dāng)Step實(shí)際啟動(dòng)時(shí)才會(huì)創(chuàng)建StepExecution。一次step執(zhí)行的實(shí)例由StepExecution類的對(duì)象表示。每個(gè)StepExecution都包含對(duì)其相應(yīng)步驟的引用以及JobExecution和事務(wù)相關(guān)的數(shù)據(jù)，例如提交和回滾計(jì)數(shù)以及開始和結(jié)束時(shí)間。此外，每個(gè)步驟執(zhí)行都包含一個(gè)ExecutionContext，其中包含開發(fā)人員需要在批處理運(yùn)行中保留的任何數(shù)據(jù)，例如重新啟動(dòng)所需的統(tǒng)計(jì)信息或狀態(tài)信息。下面是一個(gè)從數(shù)據(jù)庫(kù)當(dāng)中截圖的實(shí)例：什么是ExecutionContext
ExecutionContext即每一個(gè)StepExecution 的執(zhí)行環(huán)境。它包含一系列的鍵值對(duì)。我們可以用如下代碼獲取ExecutionContextExecutionContext?ecStep?=?stepExecution.getExecutionContext();
ExecutionContext?ecJob?=?jobExecution.getExecutionContext();
什么是JobRepository
JobRepository是一個(gè)用于將上述job，step等概念進(jìn)行持久化的一個(gè)類。它同時(shí)給Job和Step以及下文會(huì)提到的JobLauncher實(shí)現(xiàn)提供CRUD操作。首次啟動(dòng)Job時(shí)，將從repository中獲取JobExecution，并且在執(zhí)行批處理的過程中，StepExecution和JobExecution將被存儲(chǔ)到repository當(dāng)中。@EnableBatchProcessing注解可以為JobRepository提供自動(dòng)配置。什么是JobLauncher
JobLauncher這個(gè)接口的功能非常簡(jiǎn)單，它是用于啟動(dòng)指定了JobParameters的Job，為什么這里要強(qiáng)調(diào)指定了JobParameter，原因其實(shí)我們?cè)谇懊嬉呀?jīng)提到了，jobparameter和job一起才能組成一次job的執(zhí)行。下面是代碼實(shí)例：public?interface?JobLauncher?{
?
public?JobExecution?run(Job?job,?JobParameters?jobParameters)
????????????throws?JobExecutionAlreadyRunningException,?JobRestartException,
???????????????????JobInstanceAlreadyCompleteException,?JobParametersInvalidException;
}
上面run方法實(shí)現(xiàn)的功能是根據(jù)傳入的job以及jobparamaters從JobRepository獲取一個(gè)JobExecution并執(zhí)行Job。什么是Item Reader
ItemReader是一個(gè)讀數(shù)據(jù)的抽象，它的功能是為每一個(gè)Step提供數(shù)據(jù)輸入。當(dāng)ItemReader以及讀完所有數(shù)據(jù)時(shí)，它會(huì)返回null來告訴后續(xù)操作數(shù)據(jù)已經(jīng)讀完。Spring Batch為ItemReader提供了非常多的有用的實(shí)現(xiàn)類，比如JdbcPagingItemReader，JdbcCursorItemReader等等。ItemReader支持的讀入的數(shù)據(jù)源也是非常豐富的，包括各種類型的數(shù)據(jù)庫(kù)，文件，數(shù)據(jù)流，等等。幾乎涵蓋了我們的所有場(chǎng)景。下面是一個(gè)JdbcPagingItemReader的例子代碼：@Bean
public?JdbcPagingItemReader?itemReader(DataSource?dataSource,?PagingQueryProvider?queryProvider)?{
????????Map?parameterValues?=?new?HashMap<>();
????????parameterValues.put("status",?"NEW");
?
????????return?new?JdbcPagingItemReaderBuilder()
???????????????????????????????????????????.name("creditReader")
???????????????????????????????????????????.dataSource(dataSource)
???????????????????????????????????????????.queryProvider(queryProvider)
???????????????????????????????????????????.parameterValues(parameterValues)
???????????????????????????????????????????.rowMapper(customerCreditMapper())
???????????????????????????????????????????.pageSize(1000)
???????????????????????????????????????????.build();
}
?
@Bean
public?SqlPagingQueryProviderFactoryBean?queryProvider()?{
????????SqlPagingQueryProviderFactoryBean?provider?=?new?SqlPagingQueryProviderFactoryBean();
?
????????provider.setSelectClause("select?id,?name,?credit");
????????provider.setFromClause("from?customer");
????????provider.setWhereClause("where?status=:status");
????????provider.setSortKey("id");
?
????????return?provider;
}
JdbcPagingItemReader必須指定一個(gè)PagingQueryProvider，負(fù)責(zé)提供SQL查詢語句來按分頁返回?cái)?shù)據(jù)。下面是一個(gè)JdbcCursorItemReader的例子代碼:?private?JdbcCursorItemReader>?buildItemReader(final?DataSource?dataSource,?String?tableName,
????????????String?tenant)?{
?
????????JdbcCursorItemReader>?itemReader?=?new?JdbcCursorItemReader<>();
????????itemReader.setDataSource(dataSource);
????????itemReader.setSql("sql?here");
????????itemReader.setRowMapper(new?RowMapper());
????????return?itemReader;
????}
什么是Item Writer
既然ItemReader是讀數(shù)據(jù)的一個(gè)抽象，那么ItemWriter自然就是一個(gè)寫數(shù)據(jù)的抽象，它是為每一個(gè)step提供數(shù)據(jù)寫出的功能。寫的單位是可以配置的，我們可以一次寫一條數(shù)據(jù)，也可以一次寫一個(gè)chunk的數(shù)據(jù)，關(guān)于chunk下文會(huì)有專門的介紹。ItemWriter對(duì)于讀入的數(shù)據(jù)是不能做任何操作的。Spring Batch為ItemWriter也提供了非常多的有用的實(shí)現(xiàn)類，當(dāng)然我們也可以去實(shí)現(xiàn)自己的writer功能。什么是Item Processor
ItemProcessor對(duì)項(xiàng)目的業(yè)務(wù)邏輯處理的一個(gè)抽象, 當(dāng)ItemReader讀取到一條記錄之后，ItemWriter還未寫入這條記錄之前，I我們可以借助temProcessor提供一個(gè)處理業(yè)務(wù)邏輯的功能，并對(duì)數(shù)據(jù)進(jìn)行相應(yīng)操作。如果我們?cè)贗temProcessor發(fā)現(xiàn)一條數(shù)據(jù)不應(yīng)該被寫入，可以通過返回null來表示。ItemProcessor和ItemReader以及ItemWriter可以非常好的結(jié)合在一起工作，他們之間的數(shù)據(jù)傳輸也非常方便。我們直接使用即可。chunk 處理流程
spring batch提供了讓我們按照chunk處理數(shù)據(jù)的能力，一個(gè)chunk的示意圖如下：skip策略和失敗處理
一個(gè)batch的job的step，可能會(huì)處理非常大數(shù)量的數(shù)據(jù)，難免會(huì)遇到出錯(cuò)的情況，出錯(cuò)的情況雖出現(xiàn)的概率較小，但是我們不得不考慮這些情況，因?yàn)槲覀冏鰯?shù)據(jù)遷移最重要的是要保證數(shù)據(jù)的最終一致性。spring batch當(dāng)然也考慮到了這種情況，并且為我們提供了相關(guān)的技術(shù)支持，請(qǐng)看如下bean的配置：批處理操作指南
本部分是一些使用spring batch時(shí)的值得注意的點(diǎn)批處理原則
在構(gòu)建批處理解決方案時(shí)，應(yīng)考慮以下關(guān)鍵原則和注意事項(xiàng)。- 批處理體系結(jié)構(gòu)通常會(huì)影響體系結(jié)構(gòu)
- 盡可能簡(jiǎn)化并避免在單批應(yīng)用程序中構(gòu)建復(fù)雜的邏輯結(jié)構(gòu)
- 保持?jǐn)?shù)據(jù)的處理和存儲(chǔ)在物理上靠得很近（換句話說，將數(shù)據(jù)保存在處理過程中）。
- 最大限度地減少系統(tǒng)資源的使用，尤其是I / O. 在internal memory中執(zhí)行盡可能多的操作。
- 查看應(yīng)用程序I / O（分析SQL語句）以確保避免不必要的物理I / O. 特別是，需要尋找以下四個(gè)常見缺陷：
- 當(dāng)數(shù)據(jù)可以被讀取一次并緩存或保存在工作存儲(chǔ)中時(shí)，讀取每個(gè)事務(wù)的數(shù)據(jù)。
- 重新讀取先前在同一事務(wù)中讀取數(shù)據(jù)的事務(wù)的數(shù)據(jù)。
- 導(dǎo)致不必要的表或索引掃描。
- 未在SQL語句的WHERE子句中指定鍵值。
- 在批處理運(yùn)行中不要做兩次一樣的事情。例如，如果需要數(shù)據(jù)匯總以用于報(bào)告目的，則應(yīng)該（如果可能）在最初處理數(shù)據(jù)時(shí)遞增存儲(chǔ)的總計(jì)，因此您的報(bào)告應(yīng)用程序不必重新處理相同的數(shù)據(jù)。
- 在批處理應(yīng)用程序開始時(shí)分配足夠的內(nèi)存，以避免在此過程中進(jìn)行耗時(shí)的重新分配。
- 總是假設(shè)數(shù)據(jù)完整性最差。插入適當(dāng)?shù)臋z查和記錄驗(yàn)證以維護(hù)數(shù)據(jù)完整性。
- 盡可能實(shí)施校驗(yàn)和以進(jìn)行內(nèi)部驗(yàn)證。例如，對(duì)于一個(gè)文件里的數(shù)據(jù)應(yīng)該有一個(gè)數(shù)據(jù)條數(shù)紀(jì)錄，告訴文件中的記錄總數(shù)以及關(guān)鍵字段的匯總。
- 在具有真實(shí)數(shù)據(jù)量的類似生產(chǎn)環(huán)境中盡早計(jì)劃和執(zhí)行壓力測(cè)試。
- 在大批量系統(tǒng)中，數(shù)據(jù)備份可能具有挑戰(zhàn)性，特別是如果系統(tǒng)以24-7在線的情況運(yùn)行。數(shù)據(jù)庫(kù)備份通常在在線設(shè)計(jì)中得到很好的處理，但文件備份應(yīng)該被視為同樣重要。如果系統(tǒng)依賴于文件，則文件備份過程不僅應(yīng)該到位并記錄在案，還應(yīng)定期進(jìn)行測(cè)試。
如何默認(rèn)不啟動(dòng)job
在使用java config使用spring batch的job時(shí)，如果不做任何配置，項(xiàng)目在啟動(dòng)時(shí)就會(huì)默認(rèn)去跑我們定義好的批處理job。那么如何讓項(xiàng)目在啟動(dòng)時(shí)不自動(dòng)去跑job呢？spring batch的job會(huì)在項(xiàng)目啟動(dòng)時(shí)自動(dòng)run，如果我們不想讓他在啟動(dòng)時(shí)run的話，可以在application.properties中添加如下屬性：spring.batch.job.enabled=false
在讀數(shù)據(jù)時(shí)內(nèi)存不夠
在使用spring batch做數(shù)據(jù)遷移時(shí)，發(fā)現(xiàn)在job啟動(dòng)后，執(zhí)行到一定時(shí)間點(diǎn)時(shí)就卡在一個(gè)地方不動(dòng)了，且log也不再打印，等待一段時(shí)間之后，得到如下錯(cuò)誤：Resource exhaustion event：the JVM was unable to allocate memory from the heap.翻譯過來的意思就是項(xiàng)目發(fā)出了一個(gè)資源耗盡的事件，告訴我們java虛擬機(jī)無法再為堆分配內(nèi)存。造成這個(gè)錯(cuò)誤的原因是: 這個(gè)項(xiàng)目里的batch job的reader是一次性拿回了數(shù)據(jù)庫(kù)里的所有數(shù)據(jù)，并沒有進(jìn)行分頁，當(dāng)這個(gè)數(shù)據(jù)量太大時(shí)，就會(huì)導(dǎo)致內(nèi)存不夠用。解決的辦法有兩個(gè):- 調(diào)整reader讀數(shù)據(jù)邏輯，按分頁讀取，但實(shí)現(xiàn)上會(huì)麻煩一些，且運(yùn)行效率會(huì)下降
- 增大service內(nèi)存
下載文檔
