關(guān)閉

  • 什么是圖神經(jīng)網(wǎng)絡(luò)？未來如何發(fā)展？

    圖是一種數(shù)據(jù)結(jié)構(gòu)，它對一組對象(節(jié)點(diǎn))及其關(guān)系(邊)進(jìn)行建模。近年來，由于圖結(jié)構(gòu)的強(qiáng)大表現(xiàn)力，用機(jī)器學(xué)習(xí)方法分析圖的研究越來越受到重視。圖神經(jīng)網(wǎng)絡(luò)(GNN)是一類基于深度學(xué)習(xí)的處理圖域信息的方法。由于其較好的性能和可解釋性，GNN最近已成為一種廣泛應(yīng)用的圖分析方法。

  • 循環(huán)神經(jīng)網(wǎng)絡(luò) RNN發(fā)展史概述

    循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network, RNN)是一類以序列(sequence)數(shù)據(jù)為輸入，在序列的演進(jìn)方向進(jìn)行遞歸(recursion)且所有節(jié)點(diǎn)(循環(huán)單元)按鏈?zhǔn)竭B接的遞歸神經(jīng)網(wǎng)絡(luò)(recursive neural network)。對循環(huán)神經(jīng)網(wǎng)絡(luò)的研究始于二十世紀(jì)80-90年代，并在二十一世紀(jì)初發(fā)展為深度學(xué)習(xí)(deep learning)算法之一，其中雙向循環(huán)神經(jīng)網(wǎng)絡(luò)(Bidirectional RNN, Bi-RNN)和長短期記憶網(wǎng)絡(luò)(Long Short-Term Memory networks，LSTM)是常見的循環(huán)神經(jīng)網(wǎng)絡(luò)。

  • 什么是自編碼器？對機(jī)器學(xué)習(xí)有什么影響？

    AutoEncoder的基本思想是利用神經(jīng)網(wǎng)絡(luò)來做無監(jiān)督學(xué)習(xí)，就是把樣本的輸入同時(shí)作為神經(jīng)網(wǎng)絡(luò)的輸入和輸出。本質(zhì)上是希望學(xué)習(xí)到輸入樣本的表示(encoding)。早期AutoEncoder的研究主要是數(shù)據(jù)過于稀疏、數(shù)據(jù)高維導(dǎo)致計(jì)算復(fù)雜度高。比較早用神經(jīng)網(wǎng)絡(luò)做AutoEncoder的可以追溯到80年代的BPNN和MLP以及當(dāng)時(shí)Hinton推崇的RBM。后來到了2000年以后還堅(jiān)持在做的只剩下Hinton的RBM了。從2000年以后，隨著神經(jīng)網(wǎng)絡(luò)的快速興起，AutoEncoder也得到快速發(fā)展，基本上有幾條線：稀疏AutoEncoder、噪音容忍AutoEncoder、卷積AutoEncoder、變分AutoEncoder。最新的進(jìn)展是結(jié)合對抗思想的對抗AutoEncoder。

  • 簡述卷積神經(jīng)網(wǎng)絡(luò)發(fā)展進(jìn)程

    卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展，最早可以追溯到1962年，Hubel和Wiesel對貓大腦中的視覺系統(tǒng)的研究。1980年，一個(gè)日本科學(xué)家福島邦彥(Kunihiko Fukushima)提出了一個(gè)包含卷積層、池化層的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。在這個(gè)基礎(chǔ)上，Yann Lecun將BP算法應(yīng)用到這個(gè)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的訓(xùn)練上，就形成了當(dāng)代卷積神經(jīng)網(wǎng)絡(luò)的雛形。

  • 什么是深度學(xué)習(xí)

    深度學(xué)習(xí)是近10年機(jī)器學(xué)習(xí)領(lǐng)域發(fā)展最快的一個(gè)分支，由于其重要性，三位教授(Geoffrey Hinton、Yann Lecun、Yoshua Bengio)因此同獲圖靈獎(jiǎng)。深度學(xué)習(xí)模型的發(fā)展可以追溯到1958年的感知機(jī)(Perceptron)。1943年神經(jīng)網(wǎng)絡(luò)就已經(jīng)出現(xiàn)雛形(源自NeuroScience)，1958年研究認(rèn)知的心理學(xué)家Frank發(fā)明了感知機(jī)，當(dāng)時(shí)掀起一股熱潮。后來Marvin Minsky(人工智能大師)和Seymour Papert發(fā)現(xiàn)感知機(jī)的缺陷：不能處理異或回路等非線性問題，以及當(dāng)時(shí)存在計(jì)算能力不足以處理大型神經(jīng)網(wǎng)絡(luò)的問題。于是整個(gè)神經(jīng)網(wǎng)絡(luò)的研究進(jìn)入停滯期。

  • 可解釋性的標(biāo)準(zhǔn)是什么？

    有一些特定的標(biāo)準(zhǔn)可用于分類模型解釋方法。Christoph Molnar在2018年“可解釋的機(jī)器學(xué)習(xí)，制作黑箱模型可解釋指南”中提到了一個(gè)很好的指南。

  • 為什么需要可解釋性機(jī)器學(xué)習(xí)？

    在工業(yè)界中，數(shù)據(jù)科學(xué)或機(jī)器學(xué)習(xí)的主要焦點(diǎn)是更偏“應(yīng)用”地解決復(fù)雜的現(xiàn)實(shí)世界至關(guān)重要的問題，而不是理論上有效地應(yīng)用這些模型于正確的數(shù)據(jù)。機(jī)器學(xué)習(xí)模型本身由算法組成，該算法試圖從數(shù)據(jù)中學(xué)習(xí)潛在模式和關(guān)系，而無需硬編碼固定規(guī)則。因此，解釋模型如何對業(yè)務(wù)起作用總是會(huì)帶來一系列挑戰(zhàn)。有一些領(lǐng)域的行業(yè)，特別是在保險(xiǎn)或銀行等金融領(lǐng)域，數(shù)據(jù)科學(xué)家通常最終不得不使用更傳統(tǒng)的機(jī)器學(xué)習(xí)模型(線性或基于樹的)。原因是模型可解釋性對于企業(yè)解釋模型所采取的每個(gè)決策非常重要。

  • 什么是可解釋性機(jī)器學(xué)習(xí)

    可解釋性是指人類能夠理解決策原因的程度。機(jī)器學(xué)習(xí)模型的可解釋性越高，人們就越容易理解為什么做出某些決定或預(yù)測。模型可解釋性指對模型內(nèi)部機(jī)制的理解以及對模型結(jié)果的理解。其重要性體現(xiàn)在：建模階段，輔助開發(fā)人員理解模型，進(jìn)行模型的對比選擇，必要時(shí)優(yōu)化調(diào)整模型;在投入運(yùn)行階段，向業(yè)務(wù)方解釋模型的內(nèi)部機(jī)制，對模型結(jié)果進(jìn)行解釋。比如基金推薦模型，需要解釋：為何為這個(gè)用戶推薦某支基金。

  • 自動(dòng)機(jī)器學(xué)習(xí)(AutoML)幾個(gè)重要方向匯總

    學(xué)習(xí)器模型中一般有兩類參數(shù)，一類是可以從數(shù)據(jù)中學(xué)習(xí)估計(jì)得到，還有一類參數(shù)時(shí)無法從數(shù)據(jù)中估計(jì)，只能靠人的經(jīng)驗(yàn)進(jìn)行設(shè)計(jì)指定，后者成為超參數(shù)。比如，支持向量機(jī)里面的C,Kernal,game;樸素貝葉斯里面的alpha等。

  • 什么是自動(dòng)機(jī)器學(xué)習(xí)

    自動(dòng)機(jī)器學(xué)習(xí)(AutoML)旨在通過讓一些通用步驟(如數(shù)據(jù)預(yù)處理、模型選擇和調(diào)整超參數(shù))自動(dòng)化，來簡化機(jī)器學(xué)習(xí)中生成模型的過程。AutoML是指盡量不通過人來設(shè)定超參數(shù)，而是使用某種學(xué)習(xí)機(jī)制，來調(diào)節(jié)這些超參數(shù)。這些學(xué)習(xí)機(jī)制包括傳統(tǒng)的貝葉斯優(yōu)化，進(jìn)化算法，還有比較新的強(qiáng)化學(xué)習(xí)。當(dāng)我們提起AutoML時(shí)，我們更多地是說自動(dòng)化數(shù)據(jù)準(zhǔn)備(即數(shù)據(jù)的預(yù)處理，數(shù)據(jù)的生成和選擇)和模型訓(xùn)練(模型選擇和超參數(shù)調(diào)優(yōu))。這個(gè)過程的每一步都有非常多的選項(xiàng)，根據(jù)我們遇到的問題，需要設(shè)定各種不同的選項(xiàng)。

  • 什么是對抗機(jī)器學(xué)習(xí)？為何要對抗機(jī)器學(xué)習(xí)？

    對抗機(jī)器學(xué)習(xí)是一個(gè)機(jī)器學(xué)習(xí)與計(jì)算機(jī)安全的交叉領(lǐng)域。對抗機(jī)器學(xué)習(xí)旨在給惡意環(huán)境下的機(jī)器學(xué)習(xí)技術(shù)提供安全保障。由于機(jī)器學(xué)習(xí)技術(shù)一般研究的是同一個(gè)或較為穩(wěn)定的數(shù)據(jù)分布，當(dāng)部署到現(xiàn)實(shí)中的時(shí)候，由于惡意用戶的存在，這種假設(shè)并不一定成立。比如研究人員發(fā)現(xiàn)，一些精心設(shè)計(jì)的對抗樣本(adversarial example)可以使機(jī)器學(xué)習(xí)模型不能成功地輸出正確的結(jié)果。針對模型的攻擊問題，我們主要分為兩大類，就是從訓(xùn)練階段和推理(inference)階段來進(jìn)行討論。

  • 什么是生成對抗網(wǎng)絡(luò)

    生成對抗網(wǎng)絡(luò)(Generative Adversarial Networks,GAN)是用于無監(jiān)督學(xué)習(xí)的機(jī)器學(xué)習(xí)模型，由Ian Goodfellow等人在2014年提出。由神經(jīng)網(wǎng)絡(luò)構(gòu)成判別器和生成器構(gòu)成，通過一種互相競爭的機(jī)制組成的一種學(xué)習(xí)框架，GAN在深度學(xué)習(xí)領(lǐng)域掀起了一場革命，這場革命產(chǎn)生了一些重大的技術(shù)突破，學(xué)術(shù)界和工業(yè)界都開始接受并歡迎GAN的到來。GAN最厲害的地方是它的學(xué)習(xí)性質(zhì)是無監(jiān)督的，GAN也不需要標(biāo)記數(shù)據(jù)，這使得GAN功能強(qiáng)大，因?yàn)閿?shù)據(jù)標(biāo)記的工作非?？菰铩?/p>

  • 機(jī)器學(xué)習(xí)的經(jīng)典代表算法總結(jié)（二）

    從1990到2012年，機(jī)器學(xué)習(xí)逐漸走向成熟和應(yīng)用，在這20多年里機(jī)器學(xué)習(xí)的理論和方法得到了完善和充實(shí)，可謂是百花齊放的年代。代表性的重要成果有：支持向量機(jī)(SVM，1995)、AdaBoost算法(1997)、循環(huán)神經(jīng)網(wǎng)絡(luò)和LSTM(1997)、流形學(xué)習(xí)(2000)、隨機(jī)森林(2001)。

  • 機(jī)器學(xué)習(xí)的經(jīng)典代表算法總結(jié)（一）

    1980年機(jī)器學(xué)習(xí)作為一支獨(dú)立的力量登上了歷史舞臺(tái)。在這之后的10年里出現(xiàn)了一些重要的方法和理論，典型的代表是：分類與回歸樹(CART，1984)、反向傳播算法(1986)、卷積神經(jīng)網(wǎng)絡(luò)(1989)。

  • 機(jī)器學(xué)習(xí)算法分類有哪些

    機(jī)器學(xué)習(xí)算法可以按照不同的標(biāo)準(zhǔn)來進(jìn)行分類。按照訓(xùn)練樣本提供的信息以及反饋方式的不同，將機(jī)器學(xué)習(xí)算法分為監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)。