-
觸屏版
-
全國服務(wù)熱線：0571-87205688
- 云客網(wǎng)首頁
-
登錄
- |
-
注冊(cè)
- |
-
客戶中心
- |
-
關(guān)注云客
中文分詞技術(shù)的分類和進(jìn)行分詞的原因
作者：花開無聲
瀏覽：104次
發(fā)布時(shí)間：2017-07-22
分享
評(píng)論
贊0
為什么要進(jìn)行中文分詞：詞是最小的能夠獨(dú)立活動(dòng)的有意義的語言成分，英文單詞之間是以空格作為自然分界符的，而漢語是以字為基本的書寫單位，詞語之間沒有明顯的區(qū)分標(biāo)記，因此，中文詞語分析是中文信息處理的基礎(chǔ)與關(guān)鍵。
Lucene中對(duì)中文的處理是基于自動(dòng)切分的單字切分，或者二元切分。除此之外，還有最大切分(包括向前、向后、以及前后相結(jié)合)、最少切分、全切分等等。
中文分詞技術(shù)的分類：
我們討論的分詞算法可分為三大類：基于字典、詞庫匹配的分詞方法;基于詞頻度統(tǒng)計(jì)的分詞方法和基于知識(shí)理解的分詞方法。
第一類方法應(yīng)用詞典匹配、漢語詞法或其它漢語語言知識(shí)進(jìn)行分詞，如：最大匹配法、最小分詞方法等。這類方法簡單、分詞效率較高,但漢語語言現(xiàn)象復(fù)雜豐富，詞典的完備性、規(guī)則的一致性等問題使其難以適應(yīng)開放的大規(guī)模文本的分詞處理。第二類基于統(tǒng)計(jì)的分詞方法則基于字和詞的統(tǒng)計(jì)信息，如把相鄰字間的信息、詞頻及相應(yīng)的共現(xiàn)信息等應(yīng)用于分詞，由于這些信息是通過調(diào)查真實(shí)語料而取得的，因而基于統(tǒng)計(jì)的分詞方法具有較好的實(shí)用性。
猜你喜歡
評(píng)論(0人參與，0條評(píng)論)
發(fā)布評(píng)論
最新評(píng)論