Facebook開源Horizon主要是為了推進(jìn)AI強(qiáng)化學(xué)習(xí)的發(fā)展

11月1日，F(xiàn)acebook開源了Horizon，一個(gè)由Facebook的AI研究人員、推薦系統(tǒng)專家和工程師共同搭建的強(qiáng)化學(xué)習(xí)平臺，其框架的構(gòu)建工作開始于兩年半前，在過去一年中一直被Facebook內(nèi)部使用。

公司或研究團(tuán)隊(duì)可以在Horizon平臺大規(guī)模部署AI執(zhí)行各種操作，達(dá)到同樣的效果可能需要幾千個(gè)CPU或GPU訓(xùn)練數(shù)以十億計(jì)的觀測報(bào)告。而利用Apache Spark進(jìn)行預(yù)處理和PyTorch訓(xùn)練AI系統(tǒng)，Horizon同樣可以部署在單臺計(jì)算機(jī)上。

Facebook的產(chǎn)品團(tuán)隊(duì)已經(jīng)利用Horizon平臺提供諸如M Suggestions的服務(wù)，該服務(wù)能推薦翻譯工具、SpoTIfy歌單、Food Network食譜，以及各種基于Facebook Messenger對話用詞的其他事物。Horizon還能被用來確定Facebook 360視頻碼率和個(gè)性化設(shè)置Facebook應(yīng)用程序的推送通知。

強(qiáng)化學(xué)習(xí)通過獎(jiǎng)勵(lì)（rewards）來驅(qū)動(dòng)智能體（agents）的活動(dòng)以達(dá)到預(yù)期目標(biāo)。Facebook開源Horizon主要是為了推進(jìn)強(qiáng)化學(xué)習(xí)的發(fā)展，同時(shí)為AI領(lǐng)域的新手、學(xué)生和需要數(shù)千臺機(jī)器訓(xùn)練AI系統(tǒng)的大型研究項(xiàng)目提供無監(jiān)督學(xué)習(xí)的方法。

谷歌曾利用強(qiáng)化學(xué)習(xí)訓(xùn)練DeepMind AI如何導(dǎo)航虛擬酷跑的路線，加州大學(xué)伯克利分校的研究人員也曾借此訓(xùn)練計(jì)算機(jī)的“好奇心”。對Facebook而言，強(qiáng)化學(xué)習(xí)將是AI產(chǎn)業(yè)的下一個(gè)前沿技術(shù)，在機(jī)器學(xué)習(xí)中會(huì)被廣泛采用，該公司相信強(qiáng)化學(xué)習(xí)也有助于改進(jìn)大型系統(tǒng)和應(yīng)用程序，也希望看到強(qiáng)化學(xué)習(xí)的新方法和應(yīng)用，尤其在機(jī)器人和游戲領(lǐng)域。

Facebook對開源工具的AI培訓(xùn)和部署并不陌生，公司在今年10月份把深受歡迎的深度學(xué)習(xí)框架PyTorch 1.0集合到谷歌云、AWS和Azure機(jī)器學(xué)習(xí)平臺，同期發(fā)布的還有用于AI模型訓(xùn)練的Caffe2和Parlai框架。除了PyTorch和Apache Spark，AI愛好者還能用TensorBoard X進(jìn)行可視化訓(xùn)練，在完成訓(xùn)練之后還可以利用ONNX使AI模型在不同框架之間進(jìn)行轉(zhuǎn)移。

不同于其他形式的強(qiáng)化學(xué)習(xí)，Horizon可以離線訓(xùn)練AI系統(tǒng)。Horizon使用一種被稱為反事實(shí)策略評估（counterfactual policy evaluaTIon）的技術(shù)來評估AI系統(tǒng)的離線性能，確定替代方法是否比在線運(yùn)行的性能更好。

Facebook認(rèn)為Horizon是第一個(gè)“利用強(qiáng)化學(xué)習(xí)規(guī)格化大規(guī)模數(shù)據(jù)集訓(xùn)練的開源端對端的平臺”，該平臺配有步進(jìn)式的用法說明，只要具備計(jì)算機(jī)基礎(chǔ)知識的人士都可以在Faecbook的Horizon GitHub資源庫中進(jìn)行克隆和嘗試，不局限于大型公司的研究人員和專家。