上一章，我们讲近似匹配时，提到如果要实现搜索推荐功能，最好不要用match_phrase_prefix进行实时的前缀匹配，因为这样性能很差。本章，我们就来介绍下ngram分词机制，通过它，我们可以在建立索引阶段就完成“搜索推荐”。
一、ngram机制
什么是ngram？N-Gram是大词汇连续语音识别中常用的一种语言模型。
举个例子，对于单词“quick”，我们可以对其做如下拆分，那么，“quick”这个term就被拆分成了5种长度下的ngram，每种长度下的拆分项都是一个ngram：
# ngram.length=1
q u i c k
# ngram.length=2
qu ui ic ck
# ngram.length=3
qui uic ick
# ngram.length=4
quic uick
# ngram.length=5
quick
Elasticsearch使用了一种“edge ngram”的分词方法，比如我们有两个下面这样的document：
# doc1
hello world
# doc2
hello what
Elasticsearch会对文本中的每个term，按照edge ngram机制建立倒排索引：
| term | doc1 | doc2 |
|---|---|---|
| h | Y | Y |
| he | Y | Y |
| hel | Y | Y |
| hell | Y | Y |
| hello | Y | Y |
| w | Y | Y |
| wo | Y | N |
| wor | Y | N |
| worl | Y | N |
| world | Y | N |
| wh | N | Y |
| wha | N | Y |
| what | N | Y |
当我们检索“hello w”时，首先会对“hello”这个term检索，发现doc1和doc2都有，然后对“w”这个term检索，发现doc1和doc2也都有，所以doc1和duc2都会被返回，这样就实现了搜索推荐。
由于检索时，完全利用到了倒排索引，并没有去做前缀匹配，所以ngram机制实现的搜素推荐效率非常高。
二、使用示例
接着，我们来看看如何使用ngram进行分词。首先，建立索引，min_gram和max_gram用于控制ngram的长度：
PUT /my_index
{
"settings": {
"analysis": {
"filter": {
"autocomplete_filter": {
"type": "edge_ngram",
"min_gram": 1,
"max_gram": 20
}
},
"analyzer": {
"autocomplete": {
"type": "custom",
"tokenizer": "standard",
"filter": [
"lowercase",
"autocomplete_filter"
]
}
}
}
}
}
我们可以通过以下命令查看下分词结果：
GET /my_index/_analyze
{
"analyzer": "autocomplete",
"text": "quick brown"
}
最后，只要对那些想要实现搜索推荐的字段，修改其字段使用的分词器就完成了：
PUT /my_index/_mapping
{
"properties": {
"title": {
"type": "string",
"analyzer": "autocomplete",
"search_analyzer": "standard"
}
}
}
上面
analyzer的意思是对title字段的内容建立索引时，使用autocomplete这个分词器，也就是ngram分词；search_analyzer的意思是，对于我们的检索词，比如“hello w”，还是用标准的standard分词器拆分。
三、总结
本章，我讲解了如何使用Elasticsearch实现index-time搜索推荐。
Java 面试宝典是大明哥全力打造的 Java 精品面试题，它是一份靠谱、强大、详细、经典的 Java 后端面试宝典。它不仅仅只是一道道面试题，而是一套完整的 Java 知识体系，一套你 Java 知识点的扫盲贴。
它的内容包括：
- 大厂真题：Java 面试宝典里面的题目都是最近几年的高频的大厂面试真题。
- 原创内容：Java 面试宝典内容全部都是大明哥原创，内容全面且通俗易懂，回答部分可以直接作为面试回答内容。
- 持续更新：一次购买，永久有效。大明哥会持续更新 3+ 年，累计更新 1000+，宝典会不断迭代更新，保证最新、最全面。
- 覆盖全面：本宝典累计更新 1000+，从 Java 入门到 Java 架构的高频面试题，实现 360° 全覆盖。
- 不止面试：内容包含面试题解析、内容详解、知识扩展，它不仅仅只是一份面试题，更是一套完整的 Java 知识体系。
- 宝典详情：https://www.yuque.com/chenssy/sike-java/xvlo920axlp7sf4k
- 宝典总览：https://www.yuque.com/chenssy/sike-java/yogsehzntzgp4ly1
- 宝典进展：https://www.yuque.com/chenssy/sike-java/en9ned7loo47z5aw
目前 Java 面试宝典累计更新 400+ 道，总字数 42w+。大明哥还在持续更新中，下图是大明哥在 2024-12 月份的更新情况：
想了解详情的小伙伴，扫描下面二维码加大明哥微信【daming091】咨询
同时，大明哥也整理一套目前市面最常见的热点面试题。微信搜[大明哥聊 Java]或扫描下方二维码关注大明哥的原创公众号[大明哥聊 Java] ，回复【面试题】 即可免费领取。
