<code id="6mcsu"></code>
<li id="6mcsu"></li>
<li id="6mcsu"><dl id="6mcsu"></dl></li>
  • <code id="6mcsu"><tr id="6mcsu"></tr></code>
    或者

    網(wǎng)站中的文本相似度也異常重要。

    作者:TOP SEO 瀏覽:284 發(fā)布時間:2018-05-12
    分享 評論 0

    網(wǎng)站中的文本相似度也異常重要。

    1.jpg

      在今日頭條中,用戶反饋了大量的問題在這中間提到最多的問題就是網(wǎng)站中為什么總推薦一些重要的問題?對于這種情況來說,不同的人重復的內(nèi)容意義不同。舉個例子來說,有人在看一些將娛樂八卦的文章。但這些文章確是昨天已經(jīng)看到的類似內(nèi)容,那么今天再看,它就是重復的了。對于如何解決這一內(nèi)容,我們就需要能夠判斷相似的文章,看看他們的主題、主體等內(nèi)容,然后根據(jù)這些內(nèi)容做一些線上策略。


      同樣的文章中還有一些時空特征,這些特征能夠幫助我們分析內(nèi)容發(fā)生的地點以及它的時效。比如在傷害現(xiàn)行的事情推給廣州的用戶就沒有意義。在文本的最后我們還要考慮與質(zhì)量相關(guān)的特征。來判斷文章的內(nèi)容是低俗還是軟文亦或是雞湯。


      另外我們要知道語義標簽的特征以及它能夠使用的場景。要知道在他們之間存在著不同的層級以及不同的要求。


      而作為分類的目標他就是能夠覆蓋全面,希望網(wǎng)站中的每一篇文章每一個視頻都能夠分類,它的實體體系要求更加準確,要知道相同的名字或相同的內(nèi)容指定的人或物也不盡相同,覆蓋的范圍也不全面,而在概念體系中,它主要解決一些較為精確,但又有些抽象的語義。這些就是網(wǎng)站最初的分類。


      目前,隱式語義特征已經(jīng)可以很好的幫助推薦,而語義標簽需要持續(xù)標注,新名詞新概念不斷出現(xiàn),標注也要不斷迭代。其做好的難度和資源投入要遠大于隱式語義特征,那為什么還需要語義標簽?有一些產(chǎn)品上的需要,比如頻道需要有明確定義的分類內(nèi)容和容易理解的文本標簽體系。語義標簽的效果是檢查一個公司NLP技術(shù)水平的試金石。


      網(wǎng)站中的


      今日頭條推薦系統(tǒng)的線上分類采用典型的層次化文本分類算法。最上面Root,下面第一層的分類是像科技、體育、財經(jīng)、娛樂,體育這樣的大類,再下面細分足球、籃球、乒乓球、網(wǎng)球、田徑、游泳...,足球再細分國際足球、中國足球,中國足球又細分中甲、中超、國家隊...,相比單獨的分類器,利用層次化文本分類算法能更好地解決數(shù)據(jù)傾斜的問題。有一些例外是,如果要提高召回,可以看到我們連接了一些飛線。這套架構(gòu)通用,但根據(jù)不同的問題難度,每個元分類器可以異構(gòu),像有些分類SVM效果很好,有些要結(jié)合CNN,有些要結(jié)合RNN再處理一下。


      上圖是一個實體詞識別算法的case。基于分詞結(jié)果和詞性標注選取候選,期間可能需要根據(jù)知識庫做一些拼接,有些實體是幾個詞的組合,要確定哪幾個詞結(jié)合在一起能映射實體的描述。如果結(jié)果映射多個實體還要通過詞向量、topic分布甚至詞頻本身等去歧,最后計算一個相關(guān)性模型。


    国产亚洲大尺度无码无码专线| 高清无码视频直接看| 88国产精品无码一区二区三区 | 亚欧免费无码aⅴ在线观看| 亚洲日韩中文无码久久| 无码av最新无码av专区| 亚洲欧美日韩中文字幕一区二区三区 | 少妇人妻无码精品视频app| 精品人妻V?出轨中文字幕| 亚洲av无码不卡私人影院| 无码一区二区三区| 十八禁视频在线观看免费无码无遮挡骂过 | 中文字幕无码高清晰 | 无码精品A∨在线观看| 亚洲国产中文字幕在线观看| 午夜不卡无码中文字幕影院| 毛片无码全部免费| 国产成人A人亚洲精品无码| 亚洲AV成人无码久久精品老人| 免费看无码特级毛片| 最近免费字幕中文大全| 天堂资源在线最新版天堂中文| 亚洲中文久久精品无码ww16| 亚洲无码黄色网址| 亚洲AV无码成人精品区大在线| 国产精品久久久久无码av| 日韩网红少妇无码视频香港| 亚洲av无码成h人动漫无遮挡 | 高潮潮喷奶水飞溅视频无码| 中文字幕一区二区三区日韩精品| 中文精品久久久久国产网址| 无码精品A∨在线观看中文| 中文字幕精品亚洲无线码一区| 亚洲中久无码不卡永久在线观看| 精品无码三级在线观看视频| 免费无遮挡无码视频在线观看| 无码AV动漫精品一区二区免费| 国产日韩精品无码区免费专区国产| 精选观看中文字幕高清无码| 免费无码一区二区| 亚洲中文字幕在线乱码|