百度搜索引擎中文分词与文本粒度

百度搜索引擎的目的就是在满足绝大部分用户的需求下提供最精确最丰富的搜索结果，对于搜索引擎而言，用户停留时间越短，越说明搜索引擎的高效性和准确性，不管是百度的轻应用、知心搜索，还是谷歌的语义搜索、蜂鸟算法，或是360的我的搜索，都是为了能够帮助人们更方便的找到所求。

而对于搜索引擎而言，想要给用户最需求的就需要去判断用户搜索词的意图。而搜索引擎尽管非常高效，数据库非常庞大，但它毕竟不是那么智能，不能直接判断出搜索词的意思，尽管谷歌已公布可以借助更加复杂的搜索请求更好的理解人类语言的概念，而不是一些零散的单词，这样的搜索能提供更加精准的结果，即整句搜索。但这只是一小步，搜索引擎不论是进行索引还是网页排序仍需要对文本进行切分，即中文分词。分词仍然是最基础也是最重要的。而在中文分词过程中文本粒度起到关键性的作用。

文本粒度

所谓文本粒度，对于搜索引擎而言：粒度是衡量文本所含信息量的大小。文本含信息量越多，粒度就越大，反之就小。有人会说那简单啊，当然词越长含有的信息量就越大，你确定？那木木SEO告诉你一个小玩意：肌联蛋白是目前已知的最大蛋白质，名字足足有189819个字母，是名副其实最大的单词。这个单词的信息量是有多大？闲话不多说，先来看下面几组词中，哪些的粒度大，哪些的粒度小。

萝卜、葡萄、乒乓

龙井、篮球、红色、橡皮檫

踢球、拔河、谈恋爱、登山

高清电视机、南非双人游、呼叫中心系统

第一组词由两个字组成，但是仅表达一个意思，这些词的粒度是小的。而第二组词虽然也基本由两个字组成，也只有一个意思，但这些词还可以拆分，如篮和球、橡皮和檫、踢和球等，这类词粒度要稍微大一些。而后面的第四组，不要说粒度就更大了。

标签： 百度搜索引擎 中文分词 文本粒度 

版权申明：本站文章部分自网络，如有侵权，请联系：west999com@outlook.com
特别注意：本站所有转载文章言论不代表本站观点！
本站所提供的图片等素材，版权归原作者所有，如需使用，请与原作者联系。