了解貝葉斯建模和機器學(xué)習(xí)概率編程

時間：2024-09-09 10:50:33

關(guān)鍵字：貝葉斯建模機器學(xué)習(xí)

手機看文章

掃描二維碼
隨時隨地手機看文章

[導(dǎo)讀]傳統(tǒng)的機器學(xué)習(xí)模型和人工智能技術(shù)往往存在一個嚴(yán)重的缺陷:它們?nèi)狈Σ淮_定性的量化。這些模型通常提供點估計,而不考慮預(yù)測的不確定性。這種限制削弱了評估模型輸出可靠性的能力。此外,傳統(tǒng)的ML模型缺乏數(shù)據(jù),往往需要正確的標(biāo)記數(shù)據(jù),因此,往往難以解決數(shù)據(jù)有限的問題。此外,這些模型缺乏將專家領(lǐng)域知識或先前信念納入模型的系統(tǒng)框架。如果沒有利用特定領(lǐng)域的洞察力的能力,模型可能會忽略數(shù)據(jù)中的關(guān)鍵細微差別,并傾向于無法發(fā)揮其潛力。毫升模型變得越來越復(fù)雜和不透明,雖然越來越多的人要求在根據(jù)數(shù)據(jù)和大赦國際作出的決定中增加透明度和問責(zé)制。

傳統(tǒng)的機器學(xué)習(xí)模型和人工智能技術(shù)往往存在一個嚴(yán)重的缺陷:它們?nèi)狈Σ淮_定性的量化。這些模型通常提供點估計,而不考慮預(yù)測的不確定性。這種限制削弱了評估模型輸出可靠性的能力。此外,傳統(tǒng)的ML模型缺乏數(shù)據(jù),往往需要正確的標(biāo)記數(shù)據(jù),因此,往往難以解決數(shù)據(jù)有限的問題。此外,這些模型缺乏將專家領(lǐng)域知識或先前信念納入模型的系統(tǒng)框架。如果沒有利用特定領(lǐng)域的洞察力的能力,模型可能會忽略數(shù)據(jù)中的關(guān)鍵細微差別,并傾向于無法發(fā)揮其潛力。毫升模型變得越來越復(fù)雜和不透明,雖然越來越多的人要求在根據(jù)數(shù)據(jù)和大赦國際作出的決定中增加透明度和問責(zé)制。

概率方案擬訂:應(yīng)對這些挑戰(zhàn)的解決辦法

概率編程提供了一個解決這些挑戰(zhàn)的建?？蚣堋Ｆ浜诵脑谟谪惾~斯統(tǒng)計學(xué),它與統(tǒng)計學(xué)的頻率解釋不同。

貝葉斯統(tǒng)計

在頻率論統(tǒng)計中,概率被解釋為一個事件的長期相對頻率。數(shù)據(jù)被認為是隨機的,是從固定定義分布中取樣的結(jié)果。因此,測量中的噪聲與采樣的變化有關(guān).頻繁的人相信概率是存在的,是固定的,無限的實驗會收斂到固定的值。頻率論方法不給參數(shù)分配概率分布,它們對不確定性的解釋源于估計值的長期頻率屬性,而不是關(guān)于參數(shù)值的顯式概率語句。

在…中?貝葉斯統(tǒng)計 ,概率被解釋為某一特定信念中的不確定性的尺度。數(shù)據(jù)被認為是固定的,而系統(tǒng)的未知參數(shù)被看作是隨機的變量,并且使用概率分布來建模。貝葉斯方法捕捉參數(shù)本身的不確定性,從而提供了一種更直觀和靈活的不確定性量化方法。

頻率論者與貝葉斯統(tǒng)計

概率機器學(xué)習(xí)

在頻率型XML中,模型參數(shù)被看作是固定的,并通過最大似然估計來估計,在這種情況下,似然函數(shù)量化了觀察統(tǒng)計模型數(shù)據(jù)的概率。多邊環(huán)境協(xié)議尋求參數(shù)點估計,最大化這一概率。執(zhí)行《多邊環(huán)境法》:

· 假設(shè)一個模型和基礎(chǔ)模型參數(shù)。

· 推導(dǎo)基于假定模型的可能性函數(shù).

· 優(yōu)化概率函數(shù)以獲得參數(shù)的點估計.

因此,包括深度學(xué)習(xí)在內(nèi)的頻率論模型依賴于優(yōu)化,通常是基于梯度的優(yōu)化,作為其基本工具。

相反,貝葉斯方法模型未知參數(shù)及其與概率分布的關(guān)系使用貝葉斯定理來計算和更新這些概率,因為我們獲得了新的數(shù)據(jù)。

貝葉斯定理: "貝葉斯法則告訴我們?nèi)绾螐囊粋€連接中推導(dǎo)出條件概率,條件作用告訴我們?nèi)绾卫硇缘馗挛覀兊男拍?而更新信念是學(xué)習(xí)和推理的全部內(nèi)容"[2]。

這是一個簡單但強大的方程。

· 先前表示對未知參數(shù)的最初信念

· 可能性表示基于假定模型的數(shù)據(jù)的概率

· 邊緣概率是模型證據(jù),是一個規(guī)范化系數(shù).

· 后向分布代表了我們對參數(shù)的最新認識,包括了先前的知識和觀察到的證據(jù)。

貝葉斯機器學(xué)習(xí)推理是貝葉斯機器學(xué)習(xí)的基本工具. 后向分布所代表的參數(shù)分布用于推理,提供了一個更全面的不確定性的理解。

運行中的貝葉斯更新: 下面的圖展示了一個簡單的拋硬幣實驗的后向分布,它跨越不同的樣本尺寸和兩個不同的前向分布。這個可視化提供了對不同樣本尺寸和先前信念的組合如何影響結(jié)果的后向分布的洞察力。

樣本尺寸和樣本大小對后向分布的影響

如何模擬后向分布

在大多數(shù)情況下,表面上簡單的后向分布是難以計算的。特別是分母,即。邊緣似然積分往往是可插入的,特別是在使用更高維度參數(shù)空間時。在大多數(shù)情況下,沒有封閉形式的解,數(shù)值積分方法也是計算密集型的。為了應(yīng)對這個挑戰(zhàn)我們依靠一類特殊的算法蒙特卡洛模擬后向分布的模擬。這里的想法是從后面的分布中取樣,而不是顯式地建模,用這些樣本來表示模型參數(shù)的分布

馬爾可夫鏈蒙特卡洛(MMC)

" MMC方法包括一類從概率分布抽樣的算法.通過構(gòu)造以理想分布為均衡分布的馬爾可夫鏈,可以通過記錄來自該鏈的狀態(tài)來獲得所需分布的樣本 "[3]。一些常用的McMC采樣器是:

· 黑斯廷斯大都會

· 吉布斯采樣器

· 哈密頓指數(shù)蒙特卡洛(HMC)

· 無U型采樣器(堅果)

· 連續(xù)蒙特卡洛

概率編程

概率規(guī)劃是貝葉斯統(tǒng)計的方案編制框架。它涉及語言的語法和語義的發(fā)展,這些語言表示條件推理問題和開發(fā)那些推理問題的"解決者"。從本質(zhì)上講,概率編程是貝葉斯建模的工具,而自動分化工具則是經(jīng)典的機器學(xué)習(xí)和深度學(xué)習(xí)模型 [2].

概率編程語言的生態(tài)系統(tǒng)多種多樣,每種語言都有自己的語法、語義和功能。一些最流行的語言包括:

· [4]: 巴格斯是最早的概率編程語言之一,以其方便用戶的接口和支持廣泛的概率模型而聞名。實現(xiàn)了吉布斯采樣和其他馬爾可夫鏈蒙特卡羅方法的推理.

· [5]: JGG是貝葉斯分層建模的專用語言,特別適合于嵌套結(jié)構(gòu)的復(fù)雜模型。它利用吉布斯采樣算法進行后推理。

· 斯坦: 一種概率編程語言,以其表達建模語法和有效的抽樣算法而聞名。斯坦被廣泛應(yīng)用于學(xué)術(shù)界和工業(yè)界的各種貝葉斯建模任務(wù)。斯坦在兩個主要方面不同于小蟲和小蟲。首先,斯坦是基于一種新的強制性概率編程語言,它比基于錯誤或JTAG的聲明性圖形建模語言更靈活和更有表現(xiàn)力,其方式包括聲明帶有類型的變量,支持本地變量和條件語句。第二,斯坦的馬爾可夫鏈蒙特卡洛(MMC)技術(shù)是基于哈密頓量蒙特卡洛(HMC),這是一個比吉布斯取樣或米球-黑斯廷斯更高效和健壯的采樣器,用于復(fù)雜的后柱模型" [6].

· 巴耶茲達b: BYESDB是一個用于大規(guī)模數(shù)據(jù)分析和概率數(shù)據(jù)庫查詢的概率編程平臺。它使用戶能夠使用sql類查詢在關(guān)系數(shù)據(jù)庫上執(zhí)行概率推斷[7]

· 小冊子3: PYMC3是一個用于概率編程的比頓庫,它為構(gòu)建和分析概率模型提供了一個直觀和靈活的接口。它利用先進的采樣算法如哈密頓數(shù)蒙特卡羅(HMC)和自動分化變分推理(ADVI)進行推理[8]。

· 張力流概率: " 張力流概率(TFP)是一個構(gòu)建在張力流基礎(chǔ)上的巨蛇庫,它可以很容易地將概率模型與現(xiàn)代硬件(TPU、GPU)上的深入學(xué)習(xí)結(jié)合起來。 [9] .

· 煙火: PERO是一種通用的概率編程語言(PPL),它寫在PUTUT的后端?？梢造`活和富有表現(xiàn)力的深度概率建模,統(tǒng)一現(xiàn)代深度學(xué)習(xí)和貝葉斯建模的最佳. [10].

這些語文共有一個共同的工作流程,概述如下:

1. 示范定義: 該模型定義了數(shù)據(jù)生成過程、潛在參數(shù)及其相互關(guān)系。這一步驟需要仔細考慮基本制度和對其所作的假設(shè)。行為 .

2. 事先分發(fā)說明: 定義模型中未知參數(shù)的前置分布。這些前科在觀察任何數(shù)據(jù)之前編碼從業(yè)者的信念、領(lǐng)域或有關(guān)參數(shù)的事先知識。

3. 可能性說明: 描述可能性函數(shù),表示受未知參數(shù)影響的觀測數(shù)據(jù)的概率分布.可能性函數(shù)量化模型預(yù)測與觀測數(shù)據(jù)之間的一致性。

4. 后分布推斷: 用抽樣算法近似的模型參數(shù)的后分布所觀察到的數(shù)據(jù)。這通常涉及運行馬爾可夫鏈蒙特卡羅(MMC)或變分推理(VI)算法從后分布產(chǎn)生樣本。

案例研究:預(yù)測股票指數(shù)波動性

在本研究中,我們將采用貝葉斯建模技術(shù)來預(yù)測股票指數(shù)的波動性。這里的波動性是衡量股票價格隨時間變化的程度,是評估某一股票相關(guān)風(fēng)險的一個重要指標(biāo)。

數(shù)據(jù) :為了進行分析,我們將利用標(biāo)準(zhǔn)普爾500指數(shù)的歷史數(shù)據(jù)。標(biāo)準(zhǔn)普爾500指數(shù)是一種廣泛使用的基準(zhǔn)指數(shù),用來跟蹤美國500只大盤股票的表現(xiàn)。通過研究指數(shù)價格隨時間變化的百分比變化,我們可以深入了解其波動性。

標(biāo)準(zhǔn)普爾500-股價和百分比變化

從上面的情節(jié)可以看出,時間序列----連續(xù)幾天間的價格變化:

· 不變平均值

· 隨著時間的推移改變差異,即:,時間序列顯示出異質(zhì)性

建模異變性: "在統(tǒng)計學(xué)中,如果所有隨機變量都有相同的有限方差,那么隨機變量的序列就是同構(gòu)的;這也被稱為方差的均勻性?；パa的概念被稱為異質(zhì)性,也被稱為方差的異質(zhì)性"[11]。自回歸條件異質(zhì)性模型是專門設(shè)計來解決時間序列數(shù)據(jù)中的異變性。