<code id="6mcsu"></code>
<li id="6mcsu"></li>
<li id="6mcsu"><dl id="6mcsu"></dl></li>
  • <code id="6mcsu"><tr id="6mcsu"></tr></code>
    或者

    關(guān)于詞庫建設(shè)的問題整理

    作者:七夏 瀏覽:277 發(fā)布時間:2017-10-18
    分享 評論 0

    一、詞庫的篩選與建立

    建立一個幾十萬的詞庫很好說,但是針對這些詞你是如何處理的呢?分類,去重,篩選,沒有用的高頻詞,停止詞,雜詞,相似度,等等,你都是如何解決的?

    道哥:

    分類通常不做,因為精度不是很讓人滿意,分出一堆碎片分類看著頭疼建立詞庫的過程中不斷維護(hù)一個白名單和黑名單,抽取出強特征用于過濾高頻詞還有詞性等通常不過濾,尤其是不需要抽取query實體的場景下,高頻詞以及詞性的過濾反倒有可能導(dǎo)致語義轉(zhuǎn)義掉,這對于以分析為目的的詞庫而言是得不償失。

    停止詞只過濾一個“的”就行了,千萬不要貪停止詞的多,反倒是空格需要過濾,然后不同來源的詞庫合并去重,同詞不同搜索量的再處理下。

    最后,建議挖詞庫的時候就一個個品類挖,否則挖出個幾十萬上百萬的詞庫,沒點耐心和技巧處理起來真的很麻煩,屬于前期省事后期煩心。

    Gogo闖:

    擴(kuò)詞 – 過濾 – 找規(guī)律 – 評估 – 維護(hù)

    擴(kuò)詞:根據(jù)指定詞根擴(kuò)展一批關(guān)鍵詞

    過濾:去除與詞根不相關(guān)的詞(可以粗暴的把不包含詞根的詞拿出來),去除沒法上線的詞(比如帶空格,各種符號,如“2013年工作總結(jié)”等不合符時效的、敏感詞:東莞娛樂城…..),去重(完全匹配去重:“北京旅游,北京旅游”刪掉1個;至于如“2015北京平均工資,北京平均工資2015”不完全匹配的,個人感覺沒有去重的必要,詞綴在整個詞中出現(xiàn)的位置對流量有些影響的,另外這些詞去重起來也麻煩)

    找規(guī)律:把詞根前后的詞綴全拿出來,把詞綴出現(xiàn)頻率高的篩出來,這種詞都是有特定的搜索組合的。

    之后再把包含高頻詞綴的詞都刪掉,再把搜索量高的詞拿出來,基本都是沒有變量,適合做專題的詞:如“住房公積金提取條件”“按揭貸款申請流程”….

    評估:評估哪些詞能上,哪些不能上;能上的詞都是有內(nèi)容,相關(guān)的。直接的動作是找網(wǎng)站中有多少內(nèi)容跟這個詞相關(guān),跑搜索結(jié)果、數(shù)據(jù)庫均可,自己發(fā)散下~

    半人工半程序處理,沒啥技術(shù)含量,純粹各種小技巧和歸納思維。

    另外一種情況是根本沒有找不到詞根去挖詞,上面的流程根本沒法用,典型如新聞咨詢類的網(wǎng)站,如“派代網(wǎng)”那種,各種各樣毫不相干的tag,我這能想到的辦法是拿一堆新聞文章,至少幾十萬的,挑幾個需要挖掘的主題,用word2vec把聚類的詞找出來。

    二、怎樣從大批詞庫中給關(guān)鍵詞快速分類詞性?利用包含字眼怎么樣?

    個人想法是統(tǒng)計各個詞性的包含字眼,如費用類關(guān)鍵詞一般都包含:“錢”,“價”,“多少”,“費”,“貴”,“便宜”大概這些字眼,統(tǒng)計好字眼利用excel的vlookup函數(shù)或者類似更好用的工具給詞庫中包含這些字眼的關(guān)鍵詞歸類為費用類。

    如果大家有更好的辦法求賜教啊~,如果跟我這個想法差不多的,希望能借鑒詞性包含的字眼這個我統(tǒng)計了好幾次都覺得不準(zhǔn)確。

    道哥:

    有監(jiān)督分類的難點在于分類特征選取及多分類分歧處理,gogo闖舉的正是此例。

    而王楠包括之前民工提供的工具其實都屬于無監(jiān)督分類的范疇了。而事實是無監(jiān)督分類哪怕用上了樸素貝葉斯分類器這種高大上的NLP牛刀,其效果幾乎是慘不忍睹,因為這種方法會產(chǎn)生大量的碎片分類且分類可用性不高,而若要對碎片分類再做聚類,一來效果仍然不佳,二來顯然又一次舍近求遠(yuǎn)了。

    題主的需求顯然以精度要求為先,因此推薦有監(jiān)督分類方法。分類特征選取可考慮人工給每個分類分出一定量級的結(jié)果,對合結(jié)果集合提取tfidf得分較高的詞再人工細(xì)看一遍,這種特征選取方法同樣適用于文章分類。多分類分歧比較傻瓜的方法是。。。

    Gogo闖:

    前期肯定要人工過,盡可能窮盡同一類詞所有的共性特征及在詞中的位置。

    之前用鳳巢找職位相關(guān)需求的時候,會出現(xiàn)各種亂七八糟的非職位詞,于是從智聯(lián)找出1w個職位詞當(dāng)樣本,窮舉職位詞共有的特征。

    三、seo關(guān)鍵詞詞庫的分類篩選程序。

    國平:

    我們已經(jīng)開發(fā)了一個SEO關(guān)鍵詞詞庫的分類程序,效果還不錯,打算在錄制SEO免費視頻后免費發(fā)出來。

    這個分類篩選程序用到的算法也還不錯的,只有一個缺點,就是在計算關(guān)鍵詞相關(guān)性的時候,目前只支持包含關(guān)系。比如:德國、法國都是國家,分類篩選程序在獲取到“德國”這個關(guān)鍵詞后,不可以智能地把“法國”也分類到一起。不過這個問題是有解決辦法的,但是一個單機(jī)的計算量有限,要計算很長時間才可以,所以就暫時沒有這個功能。

    稍后可以放一些效果圖來看看,大家可能不知道,僅僅是用包含關(guān)系來篩選詞庫,獲得的分類就足夠有用了。


    精品久久久无码中文字幕| 国产精品va在线观看无码| 18禁裸乳无遮挡啪啪无码免费| 一区二区中文字幕| 国产精品无码素人福利| 中文字幕乱码无码人妻系列蜜桃| 中文字幕无码无码专区| 精品无码国产污污污免费网站国产| 亚洲午夜福利AV一区二区无码| 最近免费2019中文字幕大全| 亚洲一区二区无码偷拍| 久久国产精品无码一区二区三区| 亚洲成a人片在线观看无码专区| 国产中文在线亚洲精品官网| 久本草在线中文字幕亚洲欧美| 国产成A人亚洲精V品无码| 亚洲国产精品无码专区| 日韩精品无码视频一区二区蜜桃| 欧美日韩中文字幕2020| 中文字幕乱妇无码AV在线| 伊人久久大香线蕉无码麻豆| 国产高新无码在线观看| 久久无码av三级| 成在线人免费无码高潮喷水| 乱色精品无码一区二区国产盗| 亚洲av无码乱码国产精品fc2 | 精品久久久久久无码中文字幕 | 国产成人亚洲综合无码精品| 亚洲欧洲无码AV电影在线观看| 无码国产精品一区二区免费式直播 | 日韩精品无码中文字幕一区二区| 人看的www视频中文字幕| 久久人妻AV中文字幕| 亚洲AV无码不卡在线观看下载| 日韩A无码AV一区二区三区| 91久久精品无码一区二区毛片| 国产AV无码专区亚汌A√| 国产精品无码无卡无需播放器| 一本大道久久东京热无码AV| 久久中文字幕精品| 最近2019年免费中文字幕高清|