一種XML解析器技術(shù)的研究與實現(xiàn)

摘 要： 介紹了XML解析的詳細(xì)過程，設(shè)計并實現(xiàn)了一個特定Schema的XML解析器的自動生成工具。該生成工具以一個XML Schema文件作為輸入，輸出一個JavaCC詞法和語法規(guī)格說明文件，然后在JavaCC工具的幫助下，生成一個基于特定XML Schema的XML解析器。實驗證明，這個生成解析器能夠?qū)ML文檔進(jìn)行解析的同時，驗證其有效性。
關(guān)鍵詞： XML解析器；基于特定模式；驗證；解析器生成器；JavaCC

　XML[1](Extensible Markup Language)是一種可擴(kuò)展標(biāo)記語言，可以用來定義其他的標(biāo)記語言。自從XML成為W3C推薦標(biāo)準(zhǔn)以來，XML以其簡單、可擴(kuò)展性、自描述性、平臺中立的特點，正迅速成為Web上信息表示與數(shù)據(jù)交換的標(biāo)準(zhǔn)[2]。目前眾多國際著名公司都宣稱其產(chǎn)品中支持XML，促使XML成為下一代Web的發(fā)展方向。越來越多的網(wǎng)站和Web的應(yīng)用使用XML技術(shù)進(jìn)行信息發(fā)布和數(shù)據(jù)交換，XML已成為一種備受矚目的技術(shù)，甚至被譽為互聯(lián)網(wǎng)上的世界語。XML現(xiàn)已被廣泛應(yīng)用在各種領(lǐng)域，如電子商務(wù)、企業(yè)協(xié)作、Web服務(wù)等。XML解析器是XML應(yīng)用的基礎(chǔ)，XML本身只是以純文本對數(shù)據(jù)進(jìn)行編碼的一種格式，要想利用XML，或是利用XML文件中所編碼的數(shù)據(jù)，必須先將數(shù)據(jù)從純文本中解析出來。因此，要求必須有一個能夠識別XML文檔信息的文本文件閱讀器(即XML解析器)，用來解析XML文檔并提取其中的內(nèi)容。為了提高數(shù)據(jù)的正確性和提高系統(tǒng)的可靠性，XML解析器還要檢查XML實例文檔是否符合模式的定義和約束，這個過程稱為XML文檔的有效性驗證[3]。但帶有驗證功能的解析器通常效率比較低[4]。近年來，有很多旨在提高XML的解析和基于Schema 驗證性能的研究，本文在詳細(xì)分析了XML解析器的解析過程的基礎(chǔ)上，設(shè)計并實現(xiàn)了一個特定Schema解析器的生成工具。生成器根據(jù)特定的Schema，自動產(chǎn)生一個遞歸下降的XML解析器。這個生成解析器能夠?qū)ML文檔同時進(jìn)行解析和有效性驗證。
1 XML與Schema簡介
　可擴(kuò)展標(biāo)記語言XML是由World Wide Web Consortium(W3C)于1998年2月發(fā)布的一種基于文本的數(shù)據(jù)描述語言的通行標(biāo)準(zhǔn)，與HTML類似，XML是一種標(biāo)記語言，兩者在語法上有密切的聯(lián)系。不同的是，HTML著重于如何顯示數(shù)據(jù)，而XML的設(shè)計宗旨是存儲和傳輸數(shù)據(jù)，著重于如何描述數(shù)據(jù)。XML來源于標(biāo)準(zhǔn)通用標(biāo)記語言SGML(Standard Generalized Markup Language)，是SGML的一個精簡子集[5]。XML有如下的特點：
　(1)可擴(kuò)展性：XML是一種元標(biāo)記語言，即XML可用來設(shè)計和定義標(biāo)記語言，XML強(qiáng)大的功能體現(xiàn)在它可以用來制定自己的標(biāo)記語言。不同的具體應(yīng)用領(lǐng)域可以制定專用的標(biāo)記語言，作為該領(lǐng)域共享數(shù)據(jù)和交換信息的基礎(chǔ)。
　(2)內(nèi)容與表現(xiàn)分離：XML使得用戶界面和結(jié)構(gòu)數(shù)據(jù)之間保持獨立。XML描述數(shù)據(jù)的內(nèi)容(即數(shù)據(jù)是什么)，而數(shù)據(jù)呈現(xiàn)方式則通過樣式單來表示。內(nèi)容與表現(xiàn)分離，使相同的數(shù)據(jù)可以不同的格式在不同的媒體上表現(xiàn)。
　(3)結(jié)構(gòu)化：XML以結(jié)構(gòu)化的方式描述數(shù)據(jù)。這個特點使得XML能夠描述復(fù)雜的數(shù)據(jù)結(jié)構(gòu)，同時也為關(guān)系數(shù)據(jù)和層次數(shù)據(jù)提供一種方便的描述方式。
　(4)可驗證：XML文檔的結(jié)構(gòu)和內(nèi)容由XML模式語言(如DTD，XML Schema等)定義。利用XML文檔所對應(yīng)的DTD或Schema，可以對XML文檔有效性進(jìn)行驗證，提高了數(shù)據(jù)的可靠性和可用性。
　XML模式(Schema)指的是一類XML文檔的結(jié)構(gòu)或是模型，這個模型描述了一個有效XML文檔內(nèi)的元素層次結(jié)構(gòu)和允許的內(nèi)容。模式定義了一個XML詞匯表，包括元素名稱、屬性名稱等。模式規(guī)定了一個XML文檔允許出現(xiàn)的元素、相應(yīng)的元素允許出現(xiàn)的屬性以及這些元素的層次結(jié)構(gòu)關(guān)系。XML的模式語言有很多，其中包括文檔類型定義DTD(Document Type Definition)、XML Schema、XML規(guī)則語言描述RELAX(REgular LAnguage description for XML)、XML樹形規(guī)則表示TREX(Tree Regular Expressions for XML)和下一代RELAX NG(RELAX Next Generation)[6]。
　XML Schema是一種使用XML語法的XML模式語言。DTD曾是描述、約束XML文檔最廣泛的方法，但在應(yīng)用的過程中，DTD體現(xiàn)出一些局限性。主要表現(xiàn)在語法與XML語法不一致，只支持有限的數(shù)據(jù)類型而不支持命名空間等方面。作為DTD的后繼者，XML Schema克服了這些缺陷。XML Schema區(qū)別于DTD的主要特性表現(xiàn)在[7]：
　(1)XML Schema本身就是XML文檔，使得XML Schema的處理可以與XML一樣，一些用來處理XML的技術(shù)也可以用來處理XML Schema。
　(2)定義了豐富的數(shù)據(jù)類型，如布爾型、整型、日期時
間、URI、十進(jìn)制數(shù)等簡單數(shù)據(jù)類型。
　(3)支持用戶自定義數(shù)據(jù)類型。XML Schema支持從現(xiàn)有的數(shù)據(jù)類型派生出新的數(shù)據(jù)類型，類似于面向?qū)ο笾械睦^承。
　(4)充分支持命名空間。
　因此，XML Schema成為W3C的正式推薦標(biāo)準(zhǔn)，并正逐步取代XML DTD。
2 Schema解析器生成工具的設(shè)計與實現(xiàn)
　基于特定Schema的XML解析器的基本思想是根據(jù)某一特定的Schema，構(gòu)造一個專用的解析器，這個解析器能夠?qū)斎氲腦ML文檔進(jìn)行良構(gòu)檢查，同時驗證其有效性?；谔囟⊿chema解析器將XML的解析和驗證結(jié)合在一起，在一定程度上提高了基于XML應(yīng)用的效率和性能。但這個解析器只適用于由這個Schema定義的XML實例文檔，對于由其他Schema定義的XML實例文檔則無能為力。當(dāng)Schema改變時或者需要另外一個Schema定義時，必須重新構(gòu)造一個解析器。而本文設(shè)計并實現(xiàn)了利用JavaCC工具自動生成一個特定Schema解析器的方法。該方法以一個Schema文件為輸入，生成一個基于這個Schema的解析器。
自動生成特定解析器的基本流程如圖1所示。由于Schema文檔本身也是一種XML文檔，所以完全可以使用通用的XML解析器對其解析，也可以構(gòu)造一個專用于解析Schema的解析器，但由于Schema的語法比較復(fù)雜，構(gòu)造起來比較困難。一種較容易實現(xiàn)的方法是先將Schema轉(zhuǎn)化為XML樹模型的表示，再轉(zhuǎn)換為Schema的抽象模型表示。基于特定Schema的XML解析器生成工具的基本步驟如下：
　(1)首先利用JavaCC構(gòu)造一個通用的XML解析器(GeneralParser)。
　(2)通用XML解析器將Schema輸入文件解析成一個XML語法的元素節(jié)點樹。
　(3)遍歷這一XML語法的樹模型，將其轉(zhuǎn)換為Schema語法的抽象模型。
　(4)根據(jù)Schema抽象模型，生成特定解析器的詞法和語法規(guī)格說明。
　(5)利用JavaCC，生成基于輸入Schema的專用XML解析器。
2.1 構(gòu)造XML解析器
　構(gòu)造XML解析器的目的在于解析Schema文檔，提取其描述和約束XML文檔結(jié)構(gòu)和內(nèi)容的信息。XML Schema遵循XML語法，因此可以使用任何通用的XML解析器對其解析。下面介紹一個用于解析XML Schema文檔的XML解析器的構(gòu)造。
　由于XML文檔是可以包含DTD聲明和DTD子集的，所以處理XML文檔時也應(yīng)該包含DTD的語法的處理。但是XML Schema也是一種XML文檔，一般不會包含DTD聲明和定義。另外，由XML Schema定義的XML實例文檔通常也不會再用DTD定義，所以也不會包含DTD的聲明或DTD子集。因此，在處理XML Schema文檔時不考慮DTD語法的處理；在生成這個Schema定義的XML實例文檔的解析器時，也不考慮DTD語法的處理。這樣有助于簡化設(shè)計和實現(xiàn)。
2.1.1 構(gòu)造詞法分析器
　JavaCC能根據(jù)輸入的詞法規(guī)格說明，產(chǎn)生一個基于DFA的詞法分析器。因此需要提供一個合適的詞法規(guī)格說明。
　JavaCC的詞法規(guī)格說明使用正則表達(dá)式定義詞法結(jié)構(gòu)，每一個詞法記號(Token)名稱對應(yīng)著一個正則表達(dá)式，例如：<S：(""|"t"|"n"|"r")+>表示空白空間的詞法構(gòu)成，其中S是助記符，而(""|"t"|"n"|"r")+是相應(yīng)的正則表達(dá)式，表示由一個或多個分隔字符組成的字符串，分隔字符包括空格、制表符′t′、換行符′n′和′r′。
XML規(guī)范中表示詞法結(jié)構(gòu)的表達(dá)式，很多可以比較容易地轉(zhuǎn)換為JavaCC詞法規(guī)格說明的正則表達(dá)式形式。但有一些需要特殊的處理才能轉(zhuǎn)換為JavaCC可以識別的表示形式。
　JavaCC的詞法規(guī)格說明由一些詞法狀態(tài)和定義在各個詞法狀態(tài)內(nèi)的正則表達(dá)式組成。生成的詞法分析器在分析詞法的任何時候都只能處于一個詞法狀態(tài)中。這種機(jī)制能夠有效地解決多個正則表達(dá)式發(fā)生沖突的問題。例如，識別標(biāo)記間的字符數(shù)據(jù)的正則表達(dá)式可以表示為：<CHAR_DATA：(~["<"，"&"，"]"]|"]"~["<"，"&"，"]"]|"]"("]")+~["<"，"&"，">"])+("]")*>，這與其他很多記號的正則表達(dá)式相沖突，包括標(biāo)記中的元素名 <IDENTIFIER：<NAME>>。這是因為兩個正則表達(dá)式表示的語言有公共子集，當(dāng)出現(xiàn)公共子集中的一個串時，詞法分析器不知道應(yīng)該匹配哪一個正則表達(dá)式。實際上JavaCC只將其匹配為在詞法規(guī)格文件中較早出現(xiàn)的那個表達(dá)式。利用詞法狀態(tài)可以解決這類問題，使元素名只會出現(xiàn)在標(biāo)記中，而字符數(shù)據(jù)只出現(xiàn)在標(biāo)記外，因而可以定義兩種詞法狀態(tài)：在標(biāo)記中的狀態(tài)和標(biāo)記外狀態(tài)，使它們分別在這兩個詞法狀態(tài)中識別。詞法狀態(tài)之間的轉(zhuǎn)移可以通過在匹配一個記號后，指定要轉(zhuǎn)移的下一個詞法狀態(tài)來實現(xiàn)。另一種更靈活的方法是在執(zhí)行詞法動作(定義在匹配表達(dá)式后執(zhí)行的Java代碼)時，調(diào)用詞法分析器的SwitchTo()方法，轉(zhuǎn)移到某一指定的狀態(tài)中。
2.1.2 構(gòu)造語法分析器
　JavaCC使用自頂向下遞歸下降的分析方法，并且在需要選擇候選式的地方默認(rèn)向前看一個符號進(jìn)行判斷，因此JavaCC使用的也是一種LL(1)的分析方法。XML標(biāo)準(zhǔn)中的EBNF不是LL(1)的文法，這樣會導(dǎo)致一些選擇的沖突，使得語法分析器不能正確地分析語法。雖然JavaCC也支持LL(k)(k>1)的分析方法，即在所有的選擇點向前看k個符號，但這樣會很大程度地降低解析的效率。解決的方法是對XML標(biāo)準(zhǔn)中的EBNF表示的文法進(jìn)行改寫，使其成為LL(1)文法。將非LL(1)文法改寫為LL(1)的過程包括消除左遞歸和提取左因子。XML標(biāo)準(zhǔn)中的文法幾乎不存在左遞歸，因此只需要提取左因子。
　XML標(biāo)準(zhǔn)中語法的產(chǎn)生式存在公共左因子的典型例子是元素的產(chǎn)生式。元素及其相關(guān)的EBNF表達(dá)式如表1所示。

　元素產(chǎn)生式的右部是空元素標(biāo)記或開始標(biāo)記后跟元素內(nèi)容和結(jié)束標(biāo)記。其中空元素標(biāo)記和開始標(biāo)記有比較長的公共左因子′<′Name(S Attribute)*S？，當(dāng)語法分析器當(dāng)前的輸入符號為′<′時，無法確定選擇EmptyElemTag還是STag content ETag進(jìn)行推導(dǎo)，這時解析器就會報錯，因此首先要將左因子提取出來。改寫元素的產(chǎn)生式為：
　element：：=′<′Name(S Attribute)*S？(′/>′|′>′content ETag) (1)
　這樣語法分析器遇到′<′時，就不存在選擇的問題，當(dāng)遇到′/>′或′>′時也能確定唯一的子式。但產(chǎn)生式還不是LL(1)的。其原因在于子式(S Attribute)*S？也存在選擇的沖突。因為FIRST((S Attribute)*)∩FOLLOW((S Attribute)*)={S}，當(dāng)語法分析器遇到S符號時，不知道應(yīng)將其匹配為(S Attribute)*中的S，還是匹配為后面的S？中的S。因此還需要對產(chǎn)生式進(jìn)行進(jìn)一步的改寫。
　先將子式AttS：：=((S Attribute)*S？)改寫為等價的上下文無關(guān)文法，然后如圖2所示提取左因子。