文字識別技術(shù)在內(nèi)容安全中的應(yīng)用

01

內(nèi)容風(fēng)險舉例

• 涉黃主要是一些小卡片、小電影、常見聊天場景中的違規(guī)內(nèi)容以及打印違規(guī)圖片等一些場景。涉暴場景主要涉及到一些集會、游行、武裝力量等場景的文字描述或者是一些武器的販賣信息。涉政場景主要涉及一些反動、分裂、搞獨立或者是一些不友好媒體的出版物，同時也會存在一些辱罵、抹黑、調(diào)侃領(lǐng)導(dǎo)人或者革命英烈的現(xiàn)象。低俗場景主要是賭毒相關(guān)，比如賭場、棋牌這樣的一些場景，包括一些違法商品的售賣、導(dǎo)流的現(xiàn)象。

• 上述場景中的涉黃、涉暴、涉證、低俗等涉及到違反國家法律法規(guī)或者違反社會公序良俗。

• 廣告場景主要涉及平臺內(nèi)容生態(tài)治理，雖然不會違反社會法律法規(guī)，但是在內(nèi)容生態(tài)治理上發(fā)揮著重要的作用。例如微信號、QQ號、手機號以及它們常見的變體、拼音首字母縮寫、變異的同音字等。還有短視頻、圖片內(nèi)容中存在的水印信息，這些水印存在著導(dǎo)流情況，特別是在競爭激烈的平臺生態(tài)中，不希望平臺中出現(xiàn)競爭對手的導(dǎo)流信息；

• 廣告法中規(guī)定的限制詞，比如第一，百分之百等這一類的詞，也會存在違反廣告法的現(xiàn)象。

02

防控基本流程

1.?針對圖片文字違規(guī)風(fēng)險的基本防控流程

• 內(nèi)容輸入：主要以圖片輸入為主，針對視頻輸入可以通過截幀、關(guān)鍵幀算法等方式轉(zhuǎn)化為圖像，然后輸入到識別系統(tǒng)。

• 文字識別：文字識別子系統(tǒng)包括文字檢測、字條矯正、文字識別等子模塊，用于提取出文字信息，這些文字信息會輸入到后續(xù)的文本安全算法模型中，進行處理。

• 文本模型：包括常規(guī)的一些NLP算法和比較豐富的關(guān)鍵詞規(guī)則庫。關(guān)鍵詞庫實現(xiàn)分級、詞庫分類存儲。

• 風(fēng)險決策：文本模型輸出的結(jié)果最終會通過綜合判斷的方式做出風(fēng)險決策。包含正常、涉證、涉黃、暴恐、廣告、違禁等分類。

2.?文字識別階段細(xì)分流程

• 文字檢測模塊：輸入是原始圖像，通過檢測環(huán)節(jié)定位出圖像中文字的具體位置，產(chǎn)生出字條。

• 字體矯正模塊：識別出的字條，通過字體矯正模塊，方向調(diào)整，最終以水平方式展現(xiàn)。

• 文字識別模塊：接收到矯正后的字條之后，通過識別，最終將圖像翻譯成一段具體的文本內(nèi)容。

03

主流算法

1.?文本定位主要算法梳理

• 優(yōu)點：規(guī)則形狀的文本效果較好。

• 缺點：不規(guī)則的文本，特別是長文本效果較差。例子：1、上圖中使用回歸的方案對于長文問兩端的定位不是特別準(zhǔn)確，對后續(xù)的識別會造成較大的影響。2、使用回歸方案對于曲線文本、不規(guī)則的文本識別都會存在一些問題。

• 優(yōu)點：適用于各種形狀的文本，整體的檢測效果較好。

• 缺點：后處理耗時大（由于模型輸出的是概率圖，通過概率圖計算出每一個文本框的耗時比較長）、無法處理重疊文本。

2.?文本定位算法BDNet簡介

3.?文字識別基本流程

4.?文字識別主流算法CRNN

• 通過引入RNN模型增強序列特征的表達能力。

• 引入CTC識別模塊簡化預(yù)測流程。

• 進入CRNN時代之后，文字識別從單詞的預(yù)測變?yōu)槲谋拘械念A(yù)測，實現(xiàn)預(yù)測流程的簡化，同時文字識別模型的標(biāo)注成本得到了極大的降低。

部署優(yōu)化

1.?性能優(yōu)化

2.?性能優(yōu)化方法梳理

3.?識別效果舉例

05

問答環(huán)節(jié)