一、詞庫的篩選與建立

建立一個幾十萬的詞庫很好說，但是針對這些詞你是如何處理的呢？分類，去重，篩選，沒有用的高頻詞，停止詞，雜詞，相似度，等等，你都是如何解決的？

道哥：

分類通常不做，因為精度不是很讓人滿意，分出一堆碎片分類看著頭疼建立詞庫的過程中不斷維護(hù)一個白名單和黑名單，抽取出強特征用于過濾高頻詞還有詞性等通常不過濾，尤其是不需要抽取query實體的場景下，高頻詞以及詞性的過濾反倒有可能導(dǎo)致語義轉(zhuǎn)義掉，這對于以分析為目的的詞庫而言是得不償失。

停止詞只過濾一個“的”就行了，千萬不要貪停止詞的多，反倒是空格需要過濾，然后不同來源的詞庫合并去重，同詞不同搜索量的再處理下。

最后，建議挖詞庫的時候就一個個品類挖，否則挖出個幾十萬上百萬的詞庫，沒點耐心和技巧處理起來真的很麻煩，屬于前期省事后期煩心。

Gogo闖：

擴(kuò)詞 – 過濾 – 找規(guī)律 – 評估 – 維護(hù)

擴(kuò)詞：根據(jù)指定詞根擴(kuò)展一批關(guān)鍵詞

過濾：去除與詞根不相關(guān)的詞（可以粗暴的把不包含詞根的詞拿出來），去除沒法上線的詞（比如帶空格，各種符號，如“2013年工作總結(jié)”等不合符時效的、敏感詞：東莞娛樂城…..），去重（完全匹配去重：“北京旅游，北京旅游”刪掉1個；至于如“2015北京平均工資，北京平均工資2015”不完全匹配的，個人感覺沒有去重的必要，詞綴在整個詞中出現(xiàn)的位置對流量有些影響的，另外這些詞去重起來也麻煩）

找規(guī)律：把詞根前后的詞綴全拿出來，把詞綴出現(xiàn)頻率高的篩出來，這種詞都是有特定的搜索組合的。

之后再把包含高頻詞綴的詞都刪掉，再把搜索量高的詞拿出來，基本都是沒有變量，適合做專題的詞：如“住房公積金提取條件”“按揭貸款申請流程”….

評估：評估哪些詞能上，哪些不能上；能上的詞都是有內(nèi)容，相關(guān)的。直接的動作是找網(wǎng)站中有多少內(nèi)容跟這個詞相關(guān)，跑搜索結(jié)果、數(shù)據(jù)庫均可，自己發(fā)散下~

半人工半程序處理，沒啥技術(shù)含量，純粹各種小技巧和歸納思維。

另外一種情況是根本沒有找不到詞根去挖詞，上面的流程根本沒法用，典型如新聞咨詢類的網(wǎng)站，如“派代網(wǎng)”那種，各種各樣毫不相干的tag，我這能想到的辦法是拿一堆新聞文章，至少幾十萬的，挑幾個需要挖掘的主題，用word2vec把聚類的詞找出來。

二、怎樣從大批詞庫中給關(guān)鍵詞快速分類詞性？利用包含字眼怎么樣？

個人想法是統(tǒng)計各個詞性的包含字眼，如費用類關(guān)鍵詞一般都包含：“錢”，“價”，“多少”，“費”，“貴”，“便宜”大概這些字眼，統(tǒng)計好字眼利用excel的vlookup函數(shù)或者類似更好用的工具給詞庫中包含這些字眼的關(guān)鍵詞歸類為費用類。

如果大家有更好的辦法求賜教啊~，如果跟我這個想法差不多的，希望能借鑒詞性包含的字眼這個我統(tǒng)計了好幾次都覺得不準(zhǔn)確。

道哥：

有監(jiān)督分類的難點在于分類特征選取及多分類分歧處理，gogo闖舉的正是此例。

而王楠包括之前民工提供的工具其實都屬于無監(jiān)督分類的范疇了。而事實是無監(jiān)督分類哪怕用上了樸素貝葉斯分類器這種高大上的NLP牛刀，其效果幾乎是慘不忍睹，因為這種方法會產(chǎn)生大量的碎片分類且分類可用性不高，而若要對碎片分類再做聚類，一來效果仍然不佳，二來顯然又一次舍近求遠(yuǎn)了。

題主的需求顯然以精度要求為先，因此推薦有監(jiān)督分類方法。分類特征選取可考慮人工給每個分類分出一定量級的結(jié)果，對合結(jié)果集合提取tfidf得分較高的詞再人工細(xì)看一遍，這種特征選取方法同樣適用于文章分類。多分類分歧比較傻瓜的方法是。。。

Gogo闖：

前期肯定要人工過，盡可能窮盡同一類詞所有的共性特征及在詞中的位置。

之前用鳳巢找職位相關(guān)需求的時候，會出現(xiàn)各種亂七八糟的非職位詞，于是從智聯(lián)找出1w個職位詞當(dāng)樣本，窮舉職位詞共有的特征。

三、seo關(guān)鍵詞詞庫的分類篩選程序。

國平：

我們已經(jīng)開發(fā)了一個SEO關(guān)鍵詞詞庫的分類程序，效果還不錯，打算在錄制SEO免費視頻后免費發(fā)出來。

這個分類篩選程序用到的算法也還不錯的，只有一個缺點，就是在計算關(guān)鍵詞相關(guān)性的時候，目前只支持包含關(guān)系。比如：德國、法國都是國家，分類篩選程序在獲取到“德國”這個關(guān)鍵詞后，不可以智能地把“法國”也分類到一起。不過這個問題是有解決辦法的，但是一個單機(jī)的計算量有限，要計算很長時間才可以，所以就暫時沒有這個功能。

稍后可以放一些效果圖來看看，大家可能不知道，僅僅是用包含關(guān)系來篩選詞庫，獲得的分類就足夠有用了。