<code id="6mcsu"></code>
<li id="6mcsu"></li>
<li id="6mcsu"><dl id="6mcsu"></dl></li>
  • <code id="6mcsu"><tr id="6mcsu"></tr></code>
    或者

    關(guān)于詞庫建設(shè)的問題整理

    作者:七夏 瀏覽:277 發(fā)布時間:2017-10-18
    分享 評論 0

    一、詞庫的篩選與建立

    建立一個幾十萬的詞庫很好說,但是針對這些詞你是如何處理的呢?分類,去重,篩選,沒有用的高頻詞,停止詞,雜詞,相似度,等等,你都是如何解決的?

    道哥:

    分類通常不做,因為精度不是很讓人滿意,分出一堆碎片分類看著頭疼建立詞庫的過程中不斷維護(hù)一個白名單和黑名單,抽取出強特征用于過濾高頻詞還有詞性等通常不過濾,尤其是不需要抽取query實體的場景下,高頻詞以及詞性的過濾反倒有可能導(dǎo)致語義轉(zhuǎn)義掉,這對于以分析為目的的詞庫而言是得不償失。

    停止詞只過濾一個“的”就行了,千萬不要貪停止詞的多,反倒是空格需要過濾,然后不同來源的詞庫合并去重,同詞不同搜索量的再處理下。

    最后,建議挖詞庫的時候就一個個品類挖,否則挖出個幾十萬上百萬的詞庫,沒點耐心和技巧處理起來真的很麻煩,屬于前期省事后期煩心。

    Gogo闖:

    擴(kuò)詞 – 過濾 – 找規(guī)律 – 評估 – 維護(hù)

    擴(kuò)詞:根據(jù)指定詞根擴(kuò)展一批關(guān)鍵詞

    過濾:去除與詞根不相關(guān)的詞(可以粗暴的把不包含詞根的詞拿出來),去除沒法上線的詞(比如帶空格,各種符號,如“2013年工作總結(jié)”等不合符時效的、敏感詞:東莞娛樂城…..),去重(完全匹配去重:“北京旅游,北京旅游”刪掉1個;至于如“2015北京平均工資,北京平均工資2015”不完全匹配的,個人感覺沒有去重的必要,詞綴在整個詞中出現(xiàn)的位置對流量有些影響的,另外這些詞去重起來也麻煩)

    找規(guī)律:把詞根前后的詞綴全拿出來,把詞綴出現(xiàn)頻率高的篩出來,這種詞都是有特定的搜索組合的。

    之后再把包含高頻詞綴的詞都刪掉,再把搜索量高的詞拿出來,基本都是沒有變量,適合做專題的詞:如“住房公積金提取條件”“按揭貸款申請流程”….

    評估:評估哪些詞能上,哪些不能上;能上的詞都是有內(nèi)容,相關(guān)的。直接的動作是找網(wǎng)站中有多少內(nèi)容跟這個詞相關(guān),跑搜索結(jié)果、數(shù)據(jù)庫均可,自己發(fā)散下~

    半人工半程序處理,沒啥技術(shù)含量,純粹各種小技巧和歸納思維。

    另外一種情況是根本沒有找不到詞根去挖詞,上面的流程根本沒法用,典型如新聞咨詢類的網(wǎng)站,如“派代網(wǎng)”那種,各種各樣毫不相干的tag,我這能想到的辦法是拿一堆新聞文章,至少幾十萬的,挑幾個需要挖掘的主題,用word2vec把聚類的詞找出來。

    二、怎樣從大批詞庫中給關(guān)鍵詞快速分類詞性?利用包含字眼怎么樣?

    個人想法是統(tǒng)計各個詞性的包含字眼,如費用類關(guān)鍵詞一般都包含:“錢”,“價”,“多少”,“費”,“貴”,“便宜”大概這些字眼,統(tǒng)計好字眼利用excel的vlookup函數(shù)或者類似更好用的工具給詞庫中包含這些字眼的關(guān)鍵詞歸類為費用類。

    如果大家有更好的辦法求賜教啊~,如果跟我這個想法差不多的,希望能借鑒詞性包含的字眼這個我統(tǒng)計了好幾次都覺得不準(zhǔn)確。

    道哥:

    有監(jiān)督分類的難點在于分類特征選取及多分類分歧處理,gogo闖舉的正是此例。

    而王楠包括之前民工提供的工具其實都屬于無監(jiān)督分類的范疇了。而事實是無監(jiān)督分類哪怕用上了樸素貝葉斯分類器這種高大上的NLP牛刀,其效果幾乎是慘不忍睹,因為這種方法會產(chǎn)生大量的碎片分類且分類可用性不高,而若要對碎片分類再做聚類,一來效果仍然不佳,二來顯然又一次舍近求遠(yuǎn)了。

    題主的需求顯然以精度要求為先,因此推薦有監(jiān)督分類方法。分類特征選取可考慮人工給每個分類分出一定量級的結(jié)果,對合結(jié)果集合提取tfidf得分較高的詞再人工細(xì)看一遍,這種特征選取方法同樣適用于文章分類。多分類分歧比較傻瓜的方法是。。。

    Gogo闖:

    前期肯定要人工過,盡可能窮盡同一類詞所有的共性特征及在詞中的位置。

    之前用鳳巢找職位相關(guān)需求的時候,會出現(xiàn)各種亂七八糟的非職位詞,于是從智聯(lián)找出1w個職位詞當(dāng)樣本,窮舉職位詞共有的特征。

    三、seo關(guān)鍵詞詞庫的分類篩選程序。

    國平:

    我們已經(jīng)開發(fā)了一個SEO關(guān)鍵詞詞庫的分類程序,效果還不錯,打算在錄制SEO免費視頻后免費發(fā)出來。

    這個分類篩選程序用到的算法也還不錯的,只有一個缺點,就是在計算關(guān)鍵詞相關(guān)性的時候,目前只支持包含關(guān)系。比如:德國、法國都是國家,分類篩選程序在獲取到“德國”這個關(guān)鍵詞后,不可以智能地把“法國”也分類到一起。不過這個問題是有解決辦法的,但是一個單機(jī)的計算量有限,要計算很長時間才可以,所以就暫時沒有這個功能。

    稍后可以放一些效果圖來看看,大家可能不知道,僅僅是用包含關(guān)系來篩選詞庫,獲得的分類就足夠有用了。


    高潮潮喷奶水飞溅视频无码| 欧洲成人午夜精品无码区久久| 影音先锋中文无码一区| 丝袜无码一区二区三区| 亚洲国产av无码精品| 亚洲AV无码专区在线播放中文| 亚洲精品无码永久中文字幕| 永久免费无码日韩视频| 国产成人无码精品一区二区三区| 中文字幕精品久久| 色综合久久中文色婷婷 | 中文字幕日韩三级片| 亚洲中文字幕无码爆乳av中文 | 精品久久久久久久久久中文字幕 | 人妻AV中出无码内射| 最近免费视频中文字幕大全 | 亚洲AV人无码激艳猛片| 久久e热在这里只有国产中文精品99| 亚洲精品无码99在线观看| 999久久久无码国产精品| 玖玖资源站无码专区| 亚洲AV成人无码久久精品老人| 中文国产成人精品久久亚洲精品AⅤ无码精品 | 无码日韩人妻AV一区二区三区| 亚洲日韩国产二区无码| 亚洲精品99久久久久中文字幕| 成人性生交大片免费看中文| 日韩人妻无码精品无码中文字幕| 韩国免费a级作爱片无码| 无码国内精品久久人妻| 亚洲综合无码AV一区二区| 国产丰满乱子伦无码专区| 中文字幕不卡高清视频在线| 欧美日韩中文国产va另类电影| 99re只有精品8中文| 最近2018中文字幕免费视频| 国产欧美日韩中文字幕| 日韩免费在线中文字幕| 中文字幕性| 亚洲中文字幕无码一区 | 无码少妇一区二区三区浪潮AV|