小規(guī)模任務(wù)的神經(jīng)網(wǎng)絡(luò)應(yīng)用

在過去10-15年中,人工神經(jīng)網(wǎng)絡(luò)領(lǐng)域的發(fā)展迅速。典型的應(yīng)用是圖像處理、聲音等領(lǐng)域的高維數(shù)據(jù).然而,在機(jī)器學(xué)習(xí)中,系統(tǒng)輸入的數(shù)據(jù)量很小的任務(wù)很少:例如,異常事件建模、處理人工收集的分析數(shù)據(jù)、分析低頻傳感器的信號(hào)等。在這種情況下,一個(gè)重要階段是對(duì)系統(tǒng)訓(xùn)練有素的特點(diǎn)("特點(diǎn)")進(jìn)行認(rèn)真的工作,特別是從現(xiàn)有的基本特點(diǎn)中產(chǎn)生新的特點(diǎn),這將能夠提高設(shè)計(jì)系統(tǒng)的性能質(zhì)量。手動(dòng)方法通常用于這種生成,但是一個(gè)好的選擇是使用神經(jīng)網(wǎng)絡(luò),它不僅能夠?qū)W習(xí)基本的數(shù)學(xué)運(yùn)算,而且能夠識(shí)別輸入數(shù)據(jù)中極其復(fù)雜的模式。

本文介紹了利用多層神經(jīng)網(wǎng)絡(luò)生成小維度數(shù)據(jù)背景下的附加特征的經(jīng)驗(yàn),其中基本特征的數(shù)量從十幾個(gè)到二十個(gè)不等。兩個(gè)數(shù)據(jù)集用于培訓(xùn)模型:真實(shí)數(shù)據(jù)集(記錄器的數(shù)據(jù))和合成數(shù)據(jù)集(生成數(shù)據(jù)),用于培訓(xùn)神經(jīng)網(wǎng)絡(luò),以便隨后產(chǎn)生額外的特征。

任務(wù)和數(shù)據(jù)說明

機(jī)器學(xué)習(xí)系統(tǒng)設(shè)計(jì)的基本任務(wù)是預(yù)測(cè)工業(yè)電氣裝置故障,這是由于線圈之間非臨界微故障的累積。故障在性質(zhì)上是零星的,是由于當(dāng)其他設(shè)備打開或關(guān)閉時(shí),出現(xiàn)高壓載波和脈沖噪聲引起的。

為了研究這一因素,將記錄器連接到電路的測(cè)試段;它在每個(gè)時(shí)間點(diǎn)的線圈的兩個(gè)控制點(diǎn)以50千赫茲的頻率記錄電位。隨后以半自動(dòng)方式處理了記錄員提供的資料,結(jié)果獲得了一個(gè)培訓(xùn)樣本,其中說明了在一次設(shè)備換班(8小時(shí))操作期間登記的微型故障的統(tǒng)計(jì)數(shù)字。

對(duì)問題的初步分析表明,由于系統(tǒng)的不對(duì)稱性,不同極性的故障以不同的方式影響系統(tǒng)的可靠性,而且它們之間有相當(dāng)大的補(bǔ)償。因此,選擇以下標(biāo)準(zhǔn)作為目標(biāo)變量:如果平衡(即:,在1-2型和2-1型轉(zhuǎn)換期間注冊(cè)的微故障數(shù)量之間的差異超過預(yù)設(shè)閾值T,那么分類器應(yīng)該在相反情況下生成1,在0。對(duì)于第一階段的研究,為閾值T選擇了一個(gè)零值,因?yàn)檫@提供了一個(gè)很好的類平衡。

下面您將從下表中列出的收集數(shù)據(jù)集中找到一些功能。

除了兩個(gè)基本的目標(biāo)特征(從記錄器處理的數(shù)據(jù))之外,還計(jì)算了其他特征----根據(jù)經(jīng)驗(yàn)規(guī)則和積累的經(jīng)驗(yàn)作出的專家估計(jì)。表中僅包括那些通過了初步變異測(cè)試的特征。

野外的描述

u1線圈1號(hào)試驗(yàn)點(diǎn)的絕對(duì)電位的平均值,平均值超過一個(gè)換檔(8小時(shí))。

u2對(duì)2號(hào)線圈也一樣。

埃普_根據(jù)經(jīng)驗(yàn)規(guī)則,專家評(píng)估某一轉(zhuǎn)移的微觀細(xì)目總數(shù)("1-2"類和"2-1"類)。

埃普_B總余額也是如此(事件數(shù)"1-2"減去"2-1")。

exp_pb1專家概率估計(jì),微觀收支平衡將超過t閾值.

exp_pb2同樣的,平衡。

埃克斯_pb0同樣,對(duì)于平衡=t(對(duì)于某些類型的裝置,這種情況很可能發(fā)生)。

y目標(biāo)變量:

· 1,如果"1-2"類和"2-1"類事件之間的總平衡超過t閾值。

· 0,在相反的情況下。

在所收集的數(shù)據(jù)集中共有1376項(xiàng)觀測(cè)結(jié)果,根據(jù)確保從培訓(xùn)樣本到測(cè)試樣本不存在信息"泄漏"的時(shí)間順序原則,將其分為兩個(gè)部分。

樣品記錄號(hào)

培訓(xùn)和驗(yàn)證部分1040

試驗(yàn)部分336

為了評(píng)估模型的性能質(zhì)量,所選的度量是接收機(jī)工作特性曲線下的等面積。這個(gè)指標(biāo)允許在不選擇觸發(fā)閾值的情況下對(duì)分類質(zhì)量進(jìn)行估計(jì)(不同于其他標(biāo)準(zhǔn)指標(biāo):精確度、精確度、召回率、F1)。

客觀特征的可視化

無花果。1顯示訓(xùn)練樣本中兩個(gè)主要特征----U1和U2----坐標(biāo)中各點(diǎn)的映射。點(diǎn)的顏色對(duì)應(yīng)于類(紅色-0,水-1)。

從各點(diǎn)的分布情況來看,這一分類任務(wù)顯然相當(dāng)困難。

圖1點(diǎn)圖繪制

模式1:通過原始特征的方法

作為一個(gè)基礎(chǔ)模型,它決定使用邏輯回歸與特征的正?；＿@一選擇的原因是,對(duì)于這個(gè)任務(wù),良好的模型校準(zhǔn)是非常重要的,選擇性的方法在決策樹(隨機(jī)林,XG提高,lgbm等)上很受歡迎。)與邏輯回歸相比,孤立的校準(zhǔn)不太好。

模型的訓(xùn)練結(jié)果如圖所示.2(測(cè)試樣品的ROC曲線)和圖。3(特征空間U1、U2的分類輪廓以及訓(xùn)練樣本中的點(diǎn))。

所得值 0.5532 在整個(gè)等離子體參數(shù)中,超過0.5的值,這相當(dāng)于隨機(jī)猜測(cè),也就是說,盡管有復(fù)雜的數(shù)據(jù)集,模型還是能夠從數(shù)據(jù)中提取有用的模式。

圖2試驗(yàn)樣品的ROC曲線

圖3分類輪廓

模型2:添加額外的手動(dòng)生成功能

根據(jù)經(jīng)驗(yàn)規(guī)則,假設(shè)一個(gè)額外的特征,即U1-U2的潛在差異,可以幫助提高模型的質(zhì)量。在添加了這個(gè)特征之后,我們得到了如圖所示的結(jié)果.4.如你所見,質(zhì)量指標(biāo)在一定程度上有所改進(jìn) 0.5535 .

除此之外,還測(cè)試了第一階和第二階的多項(xiàng)式特征,但它們并沒有導(dǎo)致模型質(zhì)量的提高。

圖4ROC曲線

模型3:使用神經(jīng)網(wǎng)絡(luò)生成附加功能

除了上面描述的手動(dòng)生成功能之外,還有一種方法是使用人工神經(jīng)網(wǎng)絡(luò),其優(yōu)點(diǎn)是它們可以學(xué)習(xí)一種相當(dāng)復(fù)雜的功能,難以或無法用分析方法描述。在我們的例子中,正是這種情況:在非確定性條件下,最好使用一個(gè)額外的特征來描述兩個(gè)離散的概率過程之間的平衡,這些過程的參數(shù)由U1和U2特征設(shè)定。

為了實(shí)現(xiàn)這一方法,從10000個(gè)實(shí)例中生成了一個(gè)綜合數(shù)據(jù)集,其中隨機(jī)值被輸入到獨(dú)立的Poisson進(jìn)程的輸入X1和X2參數(shù)中,目標(biāo)變量被計(jì)算為二進(jìn)制條件:如果進(jìn)程1中的事件數(shù)量與進(jìn)程2中的事件數(shù)量之間的平衡為正數(shù),那么目標(biāo)變量為1,否則為0。

在這一合成樣本上訓(xùn)練了一個(gè)簡(jiǎn)單的完全連接的神經(jīng)網(wǎng)絡(luò),其結(jié)構(gòu)如圖所示。5.

圖5架構(gòu)

此外,在訓(xùn)練有素的神經(jīng)網(wǎng)絡(luò)的幫助下,另外生成了一個(gè)特征欄--分別用于訓(xùn)練和測(cè)試樣本。

在對(duì)基本模型(邏輯回歸與標(biāo)準(zhǔn)化)進(jìn)行訓(xùn)練后,對(duì)測(cè)試樣品進(jìn)行了UCROC測(cè)量。 0.5539 ,即結(jié)果比模型2要好。

結(jié)論和觀點(diǎn)

無花果。6載有上述三種方法的學(xué)習(xí)質(zhì)量簡(jiǎn)表。

圖6簡(jiǎn)表

得到的結(jié)果表明,調(diào)查中的問題比較復(fù)雜.盡管如此,已達(dá)到的質(zhì)量指標(biāo)使我們能夠在實(shí)際情況下使用這一系統(tǒng)來預(yù)測(cè)預(yù)防性維修的時(shí)間,避免設(shè)備故障。

對(duì)這些方法的仔細(xì)檢查表明,最好的選擇是使用單獨(dú)的合成數(shù)據(jù)集對(duì)小型神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練,然后利用該數(shù)據(jù)集在主要訓(xùn)練和測(cè)試樣本中生成額外的特征。

今后,最好嘗試在決策樹上使用算法,而不是邏輯回歸,采取額外的措施來校準(zhǔn)發(fā)布的估計(jì)。此外,研究神經(jīng)網(wǎng)絡(luò)的不同架構(gòu),從它們代表各種復(fù)雜功能的能力來看,也是有意義的。

一般而言,這些組合系統(tǒng)(標(biāo)準(zhǔn)的機(jī)器學(xué)習(xí)算法+豐富特征的淺神經(jīng)網(wǎng)絡(luò))應(yīng)當(dāng)用于那些由于輸入數(shù)據(jù)之間隱藏的互聯(lián)而不能很好地工作的簡(jiǎn)單方法,而深神經(jīng)網(wǎng)絡(luò)由于數(shù)據(jù)的小維度而不適用的任務(wù)。例如設(shè)備故障預(yù)測(cè)系統(tǒng)、異常檢測(cè)、信用評(píng)分和其他類似任務(wù)。