如何提取文本實體？深度學習遠遠領(lǐng)先傳統(tǒng)算法

本文介紹了如何使用深度學習執(zhí)行文本實體提取。作者嘗試了分別使用深度學習和傳統(tǒng)方法來提取文章信息，結(jié)果深度學習的準確率達到了 85%，遠遠領(lǐng)先于傳統(tǒng)算法的 65%。

文本實體提取是自然語言處理（NLP）的主要任務之一。隨著近期深度學習領(lǐng)域快速發(fā)展，我們可以將這些算法應用到 NLP 任務中，并得到準確率遠超傳統(tǒng)方法的結(jié)果。我嘗試過分別使用深度學習和傳統(tǒng)方法來提取文章信息，結(jié)果非常驚人：深度學習的準確率達到了 85%，遠遠領(lǐng)先于傳統(tǒng)算法的 65%。

本項目的目標是把文章中的每個單詞標注為以下四種類別之一：組織、個人、雜項以及其他;然后找到文中最突出的組織和名稱。深度學習模型對每個單詞完成上述標注，隨后，我們使用基于規(guī)則的方法來過濾掉我們不想要的標注，并確定最突出的名稱和組織。

上圖是對每個單詞進行分類標注的模型高級架構(gòu)。在建模過程中，最耗時間的部分是單詞分類。我將解釋模型的每個組成部分，幫助讀者對模型組件有一個全面的、更高層次的理解。通常，模型組件可分為三部分：

單詞表征：在建模第一步，我們需要做的是加載一些預訓練詞嵌入（GloVe）。同時，我們需要從字符中提取出一些含義。

語境單詞表征：我們需要利用 LSTM，對語境中的每一個單詞得到一個有意義的表征。

解碼：當我們得到表示單詞的向量后，我們就可以用它進行預測。

hot encoding（用數(shù)值表示單詞）

深度學習算法只接受數(shù)值型數(shù)據(jù)作為輸入，而無法處理文本數(shù)據(jù)。如果想要在大量的非數(shù)值場景下使用深度神經(jīng)網(wǎng)絡，就需要將輸入數(shù)據(jù)轉(zhuǎn)變數(shù)值形式。這個過程就是 hot encoding。

下面是一小段實現(xiàn) hot encoding 的代碼示例：

word_counts = Counter（words）sorted_vocab = sorted（word_counts， key=word_counts.get， reverse=True）int_to_vocab = {ii： word for ii， word in enumerate（sorted_vocab）}vocab_to_int = {word： ii for ii， word in int_to_vocab.items（）}

同樣地，我們必須獲取輸入數(shù)據(jù)中的所有字符，然后將其轉(zhuǎn)化為向量，作為字符嵌入。

單詞嵌入是處理文本問題時使用的一種通過學習得到的表征方式，其中含義相同的單詞表征相近。通常，我們利用神經(jīng)網(wǎng)絡來實現(xiàn)單詞嵌入，其中使用的單詞或短語來自于詞庫，并需要轉(zhuǎn)變?yōu)閷崝?shù)構(gòu)成的向量形式。

但是，在數(shù)據(jù)集上生成詞向量計算成本很高，我們可以使用一些預訓練的單詞嵌入來避免這個問題：比如使用斯坦福大學的 NLP 研究者提供的 GloVe 向量。

字符嵌入是字符的向量表征，可用于推導詞向量。之所以會使用字符嵌入，是因為許多實體并沒有對應的預訓練詞向量，所以我們需要用字符向量來計算詞向量。

LSTM

傳統(tǒng)神經(jīng)網(wǎng)絡 VS 循環(huán)神經(jīng)網(wǎng)絡（RNN）

循環(huán)神經(jīng)網(wǎng)絡（RNN）是人工神經(jīng)網(wǎng)絡的一種，用于序列數(shù)據(jù)中的模式識別，例如文本、基因組、手寫筆跡、口語詞匯，或者來自傳感器、股市和政府機構(gòu)的數(shù)值型時間序列數(shù)據(jù)。它可以「理解」文本的語境含義。

RNN 神經(jīng)元

LSTM 是一種特殊的循環(huán)神經(jīng)網(wǎng)絡，相比于簡單的循環(huán)神經(jīng)網(wǎng)絡，它可以存儲更多的語境信息。簡單的 RNN 和 LSTM 之間的主要區(qū)別在于它們各自神經(jīng)元的結(jié)構(gòu)不同。

對于語境中的每一個單詞，我們都需要利用 LSTM 得到它在所處語境中的有意義表征。

條件隨機場（CRF）

在預測標注最后的解碼步驟中，我們可以使用 softmax 函數(shù)。當我們使用 softmax 函數(shù)時，它給出單詞屬于每個分類的概率。但這個方法給出的是局部選擇;換句話說，即使我們從文本語境中提取出了一些信息，標注決策過程依然是局部的，我們在使用 softmax 激活函數(shù)時，并沒有使用到鄰近單詞的標注決策。例如，在「New York」這個詞中，我們將「York」標注為一個地方，事實上，這應該可以幫助我們確定『New』對應地方的開始。

在 CRF 中，我們的輸入數(shù)據(jù)是序列數(shù)據(jù);同時，我們在某個數(shù)據(jù)點上進行預測時，需要考慮先前文本的語境。在本項目中，我們使用的是線性鏈 CRF。在線性鏈 CRF 中，特征只依賴當前標注和之前的標注，而不是整個句子中的任意標注。

為了對這個行為建模，我們將使用特征函數(shù)，該函數(shù)包含多個輸入值：

句子s

單詞在句子中的位置i

當前單詞的標注 l_i

前一個單詞的標注 l_i？1

接下來，對每一個特征函數(shù) f_j 賦予權(quán)重 λ_j。給定一個句子s，現(xiàn)在我們可以根據(jù)下式計算s的標注l：對句子中所有單詞的加權(quán)特征求和。

基于詞性標注的特征函數(shù)示例

如果 l_i= ADVERB，且第 i 個單詞以『-ly』結(jié)尾，則 f_1（s，i，l_i，l_i？1）=1，否則取 0。如果對應的權(quán)重 λ1 為正，且非常大，那么這個特征基本上就表示我們傾向于把以『-ly』結(jié)尾的單詞標注為 ADVERB。

如果 i=1，l_i= VERB，且句子以問號結(jié)尾，則 f_2（s，i，l_i，l_i？1）=1，否則取 0。如果對應的權(quán)重 λ2 為正，且非常大，那么這個特征基本上就表示我們傾向于把疑問句的第一個單詞標為 VERB。（例，「Is this a sentence beginning with a verb？」）

如果 l_i？1= ADJECTIVE，且 l_i= NOUN，則 f_3（s，i，l_i，l_i？1）=1，否則為0。對應權(quán)重為正時，表示我們傾向于認為名詞跟在形容詞之后。

如果 l_i？1= PREPOSITION，且 l_i= PREPOSITION，則 f_4（s，i，l_i，l_i？1）=1。此函數(shù)對應的權(quán)重 λ4 為負，表示介詞不應該跟著另一個介詞，因此我們應該避免這樣的標注出現(xiàn)。

最后，我們可以通過取指數(shù)和歸一化，將這些得分轉(zhuǎn)換為 0~1 之間的概率 p（l|s）。

總之，要建立一個條件隨機場，你只需要定義一組特征函數(shù)（可以依賴于整個句子、單詞的當前位置和附近單詞的標注）、賦予權(quán)重，然后加起來，最后如果有需要，轉(zhuǎn)化為概率形式。簡單地說，需要做兩件事情：

1. 找到得分最高的標注序列;

2. 在全體標注序列上求出概率分布。

幸運的是，TensorFlow 提供了相關(guān)的庫，幫助我們可以很容易地實現(xiàn) CRF。

log_likelihood， transiTIon_params=tf.contrib.crf.crf_log_likelihood（scores， labels， sequence_lengths）

模型的運行原理

對于每一個單詞，我們希望建立一個向量來捕捉其意義以及和任務相關(guān)的特征。我們將該向量構(gòu)建為 GloVe 單詞嵌入與包含字符級特征的向量的級聯(lián)。我們還可以選擇使用一些特定的神經(jīng)網(wǎng)絡，自動提取出這些特征。在本文中，我們將在字符層面上使用雙向 LSTM 算法。

我們將 CONLL 數(shù)據(jù)集中的所有單詞都進行 hot-encode，這些單詞都在 GloVe 單詞嵌入中有對應的實體。如上文所述，神經(jīng)網(wǎng)絡只接受向量，不接受文本，因此我們需要將單詞轉(zhuǎn)換為向量。CONLL 數(shù)據(jù)集包含單詞及其對應標注。在 hot encoding 后，單詞和標注都被轉(zhuǎn)換成了向量。

用于 hot encoding 單詞及其對應標注的代碼：

with open（self.filename） as f： words， tags = ［］， ［］ for line in f： line = line.strip（） if （len（line） == 0 or line.startswith（“-DOCSTART-”））： if len（words） ！= 0： niter += 1 if self.max_iter is not None and niter 》 self.max_iter： break yield words， tags words， tags = ［］， ［］ else： ls = line.split（‘ ’） word， tag = ls［0］，ls［-1］ if self.processing_word is not None： word = self.processing_word（word） if self.processing_tag is not None： tag = self.processing_tag（tag） words += ［word］ tags += ［tag］

用于提取單詞、標注和字符向量的代碼：

if vocab_chars is not None and chars == True： char_ids = ［］ for char in word： # ignore chars out of vocabulary if char in vocab_chars： char_ids += ［vocab_chars［char］］if lowercase： word = word.lower（）if word.isdigit（）： word = NUMif vocab_words is not None： if word in vocab_words： word = vocab_words［word］ else： if allow_unk： word = vocab_words［UNK］ else： print（word） print（vocab_words）if vocab_chars is not None and chars == True： return char_ids， wordelse： return word

現(xiàn)在，我們使用 TensorFlow 內(nèi)置的函數(shù)加載單詞嵌入。假定 embeddings 是一個 GloVe 嵌入的 numpy 數(shù)組，其中 embeddings［i］ 表示第 i 個單詞的向量形式。

L = tf.Variable（embeddings， dtype=tf.float32， trainable=False）pretrained_embeddings = tf.nn.embedding_lookup（L， word_ids）

現(xiàn)在，我們可以構(gòu)建根據(jù)字符得到的單詞嵌入。這里，我們不需要任何預訓練字符嵌入。

_char_embeddings = tf.get_variable（ name=“_char_embeddings”， dtype=tf.float32， shape=［self.config.nchars， self.config.dim_char］）char_embeddings = tf.nn.embedding_lookup（_char_embeddings， self.char_ids_tensor， name=“char_embeddings”）s = tf.shape（char_embeddings）char_embeddings = tf.reshape（char_embeddings， shape=［s［0］*s［1］， s［-2］， self.config.dim_char］）word_lengths = tf.reshape（self.word_lengths_tensor， shape=［s［0］*s［1］］）cell_fw = tf.contrib.rnn.LSTMCell（self.config.hidden_size_char， state_is_tuple=True）cell_bw = tf.contrib.rnn.LSTMCell（self.config.hidden_size_char， state_is_tuple=True）_output = tf.nn.bidirectional_dynamic_rnn（ cell_fw， cell_bw， char_embeddings， sequence_length=word_lengths， dtype=tf.float32）

一旦得到了單詞表征，我們就可以直接在詞向量序列上運行 bi-LSTM，得到另一個向量序列。

cell_fw = tf.contrib.rnn.LSTMCell（self.config.hidden_size_lstm）cell_bw = tf.contrib.rnn.LSTMCell（self.config.hidden_size_lstm）（output_fw， output_bw）， _ = tf.nn.bidirectional_dynamic_rnn（ cell_fw， cell_bw， self.word_embeddings， sequence_length=self.sequence_lengths_tensor， dtype=tf.float32）output = tf.concat（［output_fw， output_bw］， axis=-1）output = tf.nn.dropout（output， self.dropout_tensor）

現(xiàn)在，每個單詞都和一個向量對應，其中向量記錄了這個單詞的含義、字符和語境。我們使用向量來做最后的預測。我們可以使用全連接神經(jīng)網(wǎng)絡求出一個向量，該向量中每個條目對應每個標注的得分。

W = tf.get_variable（“W”， dtype=tf.float32， shape=［2*self.config.hidden_size_lstm， self.config.ntags］）b = tf.get_variable（“b”， shape=［self.config.ntags］， dtype=tf.float32， initializer=tf.zeros_initializer（））nsteps = tf.shape（output）［1］output = tf.reshape（output， ［-1， 2*self.config.hidden_size_lstm］）pred = tf.matmul（output， W） + bself.logits = tf.reshape（pred， ［-1， nsteps， self.config.ntags］）

最后，我們使用 CRF 方法來計算每個單詞的標注。實現(xiàn) CRF 只需要一行代碼！下面的代碼計算出了損失，同時返回了在預測時很有用的 trans_params。

log_likelihood， _trans_params = tf.contrib.crf.crf_log_likelihood（self.logits， self.labels_tensor， self.sequence_lengths_tensor）self.trans_params = _trans_paramsself.loss = tf.reduce_mean（-log_likelihood）

現(xiàn)在，我們可以定義我們的訓練算子：

optimizer = tf.train.AdamOptimizer（self.lr_tensor）self.train_op = optimizer.minimize（self.loss）

一旦我們定義好模型，在數(shù)據(jù)集上完成很少的幾次迭代，就可以得到訓練好的模型了。

如何使用訓練好的模型

TensorFlow 提供了存儲模型權(quán)重的功能，這樣我們就可以在之后的場景中復原訓練好的模型。無論什么時候需要進行預測，我們都可以加載模型權(quán)重，這樣就不需要重新訓練了。

def save_session（self）： “”“Saves session = weights”“” if not os.path.exists（self.config.dir_model）： os.makedirs（self.config.dir_model） self.saver.save（self.sess， self.config.dir_model）def restore_session（self， dir_model）： self.saver.restore（self.sess， dir_model）

每篇文章都被分解為單詞再輸入到模型中，然后經(jīng)過上文所述一系列過程，得到輸出結(jié)果。模型最終輸出結(jié)果將每個單詞分為 4 類：組織、個人、雜項以及其他。這個算法通過基于規(guī)則的方法過濾結(jié)果，然后進一步正確提取出文本中最突出的名稱和組織，它并沒有達到 100% 的準確率。