• 分析和分析器
    • 字符过滤器
    • 分词器
    • 标记过滤
    • 内建的分析器
    • 标准分析器
    • 简单分析器
    • 空格分析器
    • 语言分析器
    • 当分析器被使用
    • 测试分析器
    • 指定分析器

    分析和分析器

    分析(analysis)是这样一个过程:

    • 首先,标记化一个文本块为适用于倒排索引单独的词(term)
    • 然后标准化这些词为标准形式,提高它们的“可搜索性”或“查全率”

    这个工作是分析器(analyzer)完成的。一个分析器(analyzer)只是一个包装用于将三个功能放到一个包里:

    字符过滤器

    首先字符串经过字符过滤器(character filter),它们的工作是在标记化前处理字符串。字符过滤器能够去除HTML标记,或者转换"&""and"

    分词器

    下一步,分词器(tokenizer)被标记化成独立的词。一个简单的分词器(tokenizer)可以根据空格或逗号将单词分开(译者注:这个在中文中不适用)。

    标记过滤

    最后,每个词都通过所有标记过滤(token filters),它可以修改词(例如将"Quick"转为小写),去掉词(例如停用词像"a""and""the"等等),或者增加词(例如同义词像"jump""leap"

    Elasticsearch提供很多开箱即用的字符过滤器,分词器和标记过滤器。这些可以组合来创建自定义的分析器以应对不同的需求。我们将在《自定义分析器》章节详细讨论。

    内建的分析器

    不过,Elasticsearch还附带了一些预装的分析器,你可以直接使用它们。下面我们列出了最重要的几个分析器,来演示这个字符串分词后的表现差异:

    1. "Set the shape to semi-transparent by calling set_trans(5)"

    标准分析器

    标准分析器是Elasticsearch默认使用的分析器。对于文本分析,它对于任何语言都是最佳选择(译者注:就是没啥特殊需求,对于任何一个国家的语言,这个分析器就够用了)。它根据Unicode Consortium的定义的单词边界(word boundaries)来切分文本,然后去掉大部分标点符号。最后,把所有词转为小写。产生的结果为:

    1. set, the, shape, to, semi, transparent, by, calling, set_trans, 5

    简单分析器

    简单分析器将非单个字母的文本切分,然后把每个词转为小写。产生的结果为:

    1. set, the, shape, to, semi, transparent, by, calling, set, trans

    空格分析器

    空格分析器依据空格切分文本。它不转换小写。产生结果为:

    1. Set, the, shape, to, semi-transparent, by, calling, set_trans(5)

    语言分析器

    特定语言分析器适用于很多语言。它们能够考虑到特定语言的特性。例如,english分析器自带一套英语停用词库——像andthe这些与语义无关的通用词。这些词被移除后,因为语法规则的存在,英语单词的主体含义依旧能被理解(译者注:stem English words这句不知道该如何翻译,查了字典,我理解的大概意思应该是将英语语句比作一株植物,去掉无用的枝叶,主干依旧存在,停用词好比枝叶,存在与否并不影响对这句话的理解。)。

    english分析器将会产生以下结果:

    1. set, shape, semi, transpar, call, set_tran, 5

    注意"transparent""calling""set_trans"是如何转为词干的。

    当分析器被使用

    当我们索引(index)一个文档,全文字段会被分析为单独的词来创建倒排索引。不过,当我们在全文字段搜索(search)时,我们要让查询字符串经过同样的分析流程处理,以确保这些词在索引中存在。

    全文查询我们将在稍后讨论,理解每个字段是如何定义的,这样才可以让它们做正确的事:

    • 当你查询全文(full text)字段,查询将使用相同的分析器来分析查询字符串,以产生正确的词列表。
    • 当你查询一个确切值(exact value)字段,查询将不分析查询字符串,但是你可以自己指定。

    现在你可以明白为什么《映射和分析》的开头会产生那种结果:

    • date字段包含一个确切值:单独的一个词"2014-09-15"
    • _all字段是一个全文字段,所以分析过程将日期转为三个词:"2014""09""15"

    当我们在_all字段查询2014,它一个匹配到12条推文,因为这些推文都包含词2014

    1. GET /_search?q=2014 # 12 results

    当我们在_all字段中查询2014-09-15,首先分析查询字符串,产生匹配任一20140915的查询语句,它依旧匹配12个推文,因为它们都包含词2014

    1. GET /_search?q=2014-09-15 # 12 results !

    当我们在date字段中查询2014-09-15,它查询一个确切的日期,然后只找到一条推文:

    1. GET /_search?q=date:2014-09-15 # 1 result

    当我们在date字段中查询2014,没有找到文档,因为没有文档包含那个确切的日期:

    1. GET /_search?q=date:2014 # 0 results !

    测试分析器

    尤其当你是Elasticsearch新手时,对于如何分词以及存储到索引中理解起来比较困难。为了更好的理解如何进行,你可以使用analyze API来查看文本是如何被分析的。在查询字符串参数中指定要使用的分析器,被分析的文本做为请求体:

    1. GET /_analyze?analyzer=standard&text=Text to analyze

    结果中每个节点在代表一个词:

    1. {
    2. "tokens": [
    3. {
    4. "token": "text",
    5. "start_offset": 0,
    6. "end_offset": 4,
    7. "type": "<ALPHANUM>",
    8. "position": 1
    9. },
    10. {
    11. "token": "to",
    12. "start_offset": 5,
    13. "end_offset": 7,
    14. "type": "<ALPHANUM>",
    15. "position": 2
    16. },
    17. {
    18. "token": "analyze",
    19. "start_offset": 8,
    20. "end_offset": 15,
    21. "type": "<ALPHANUM>",
    22. "position": 3
    23. }
    24. ]
    25. }

    token是一个实际被存储在索引中的词。position指明词在原文本中是第几个出现的。start_offsetend_offset表示词在原文本中占据的位置。

    analyze API 对于理解Elasticsearch索引的内在细节是个非常有用的工具,随着内容的推进,我们将继续讨论它。

    指定分析器

    当Elasticsearch在你的文档中探测到一个新的字符串字段,它将自动设置它为全文string字段并用standard分析器分析。

    你不可能总是想要这样做。也许你想使用一个更适合这个数据的语言分析器。或者,你只想把字符串字段当作一个普通的字段——不做任何分析,只存储确切值,就像字符串类型的用户ID或者内部状态字段或者标签。

    为了达到这种效果,我们必须通过映射(mapping)人工设置这些字段。