Elasticsearch基础（九）——倒排索引原理

我们在第一章中简单介绍过倒排索引，本章我们来看下倒排索引的底层原理。先来回顾下什么是倒排索引，假设我们向某个索引里写入了下面两条document：

Elasticsearch会对document的字段内容进行分词，然后构成倒排索引，比如可能是下面这个样子：

解释一下，Y表示这个word存在于document中，N表示不存在。

然后，当客户端进行搜素时，Elasticsearch也会对搜索关键字进行分词，比如关键字是“I liked her”，那么就会拆分成I、liked、her，这样Elasticsearch就能快速根据分词结果找到对应的document，doc1和doc2中都包含I和liked，就会都被检索出来。

即使输入“I like her”也能被检索出来，这跟分词器的行为有关。

一、分词器

建立倒排索引最关键的部分就是 分词器 。分词器会对文本内容进行一些特定处理，然后根据处理后的结果再建立倒排索引，主要的处理过程一般如下：

1. character filter： 符号过滤，比如<span>hello<span>过滤成hello，I&you过滤成I and you ；
2. tokenizer： 分词，比如，将hello you and me切分成hello、you、and、me；
3. token filter： 比如，dogs替换为dog，liked替换为like，Tom 替换为 tom，small 替换为 little等等。

不同分词器的行为是不同的，Elasticsearch主要内置了以下几种分词器： standard analyzer 、 simple analyzer 、 whitespace analyzer 、 language analyzer 。

我们可以通过以下命令，看下分词器的分词效果：

    GET /{index}/_analyze
    {
      "analyzer": "standard", 
      "text": "a dog is in the house"
    }
    # 采用standard分词器对text进行分词

分词器的各种替换行为，也叫做 normalization ，本质是为了提升命中率，官方叫做recall召回率。

对于document中的不同字段类型，Elasticsearch会采用不同的分词器进行处理，比如date类型压根就不会分词，检索时就是完全匹配，而对于text类型则会进行分词处理。

Elasticsearch通过_mapping元数据来定义不同字段类型的建立索引的行为，这块内容官方文档已经写得非常清楚了，我不再赘述。

1.1 定制分词器

我们可以修改分词器的默认行为。比如，我们修改my_index索引的分词器，启用english停用词：

    PUT /my_index
    {
      "settings": {
        "analysis": {
          "analyzer": {
            "es_std": {
              "type": "standard",
              "stopwords": "_english_"
            }
          }
        }
      }
    }

然后可以通过以下命令，查看分词器的分词效果：

    GET /my_index/_analyze
    {
      "analyzer": "es_std", 
      "text": "a dog is in the house"
    }

也可以完全定制自己的分词器，更多分词器的用法读者可以参考Elasticsearch官方文档：

    PUT /my_index
    {
      "settings": {
        "analysis": {
          "char_filter": {
            "&_to_and": {
              "type": "mapping",
              "mappings": ["&=> and"]
            }
          },
          "filter": {
            "my_stopwords": {
              "type": "stop",
              "stopwords": ["the", "a"]
            }
          },
          "analyzer": {
            "my_analyzer": {
              "type": "custom",
              "char_filter": ["html_strip", "&_to_and"],
              "tokenizer": "standard",
              "filter": ["lowercase", "my_stopwords"]
            }
          }
        }
      }
    }

二、总结

在Elasticsearch中建立的索引时，一旦建立完成，索引就不可变，主要是出于性能考虑。关于倒排索引，最核心的一些东西就是上述文章所示的，更多内容建议读者自己去看官方文档。Elasticsearch的使用大多都是些API的调来调去，核心的东西其实就那么点。

Java 面试宝典是大明哥全力打造的 Java 精品面试题，它是一份靠谱、强大、详细、经典的 Java 后端面试宝典。它不仅仅只是一道道面试题，而是一套完整的 Java 知识体系，一套你 Java 知识点的扫盲贴。

它的内容包括：

• 大厂真题：Java 面试宝典里面的题目都是最近几年的高频的大厂面试真题。
• 原创内容：Java 面试宝典内容全部都是大明哥原创，内容全面且通俗易懂，回答部分可以直接作为面试回答内容。
• 持续更新：一次购买，永久有效。大明哥会持续更新 3+ 年，累计更新 1000+，宝典会不断迭代更新，保证最新、最全面。
• 覆盖全面：本宝典累计更新 1000+，从 Java 入门到 Java 架构的高频面试题，实现 360° 全覆盖。
• 不止面试：内容包含面试题解析、内容详解、知识扩展，它不仅仅只是一份面试题，更是一套完整的 Java 知识体系。
• 宝典详情：https://www.yuque.com/chenssy/sike-java/xvlo920axlp7sf4k
• 宝典总览：https://www.yuque.com/chenssy/sike-java/yogsehzntzgp4ly1
• 宝典进展：https://www.yuque.com/chenssy/sike-java/en9ned7loo47z5aw

目前 Java 面试宝典累计更新 400+ 道，总字数 42w+。大明哥还在持续更新中，下图是大明哥在 2024-12 月份的更新情况：

想了解详情的小伙伴，扫描下面二维码加大明哥微信【daming091】咨询

同时，大明哥也整理一套目前市面最常见的热点面试题。微信搜[大明哥聊 Java]或扫描下方二维码关注大明哥的原创公众号[大明哥聊 Java] ，回复【面试题】 即可免费领取。