指纹分词过滤器
fingerprint 分词过滤器用于标准化和去重文本。这在文本处理一致性至关重要时特别有用。fingerprint 分词过滤器通过以下步骤处理文本来实现此目的：
- 转为小写：将所有文本转换为小写。
- 拆分：将文本拆分为标记。
- 排序：按字母顺序排列标记。
- 去重：消除重复标记。
- 连接标记：将标记组合成一个字符串，通常通过空格或另一个指定的分隔符连接。
参数
fingerprint 分词过滤器可以通过以下两个参数进行配置。
| 参数 | 必需/可选 | 数据类型 | 描述 |
|---|---|---|---|
max_output_size | 可选 | 整数 | 限制生成的指纹字符串的长度。如果连接后的字符串超过 max_output_size，过滤器将不会产生任何输出，从而生成一个空标记。默认值为 255。 |
separator | 可选 | 字符串 | 定义在标记排序和去重后，用于将标记连接成单个字符串的字符。默认值为空格 (" ")。 |
示例
以下示例请求创建了一个名为 my_index 的新索引，并配置了一个带有 fingerprint 分词过滤器的分析器：
PUT /my_index
{
"settings": {
"analysis": {
"filter": {
"my_fingerprint": {
"type": "fingerprint",
"max_output_size": 200,
"separator": "-"
}
},
"analyzer": {
"my_analyzer": {
"type": "custom",
"tokenizer": "standard",
"filter": [
"lowercase",
"my_fingerprint"
]
}
}
}
}
}
生成的词元
使用以下请求检查使用该分析器生成的词元
POST /my_index/_analyze
{
"analyzer": "my_analyzer",
"text": "OpenSearch is a powerful search engine that scales easily"
}
响应包含生成的词元
{
"tokens": [
{
"token": "a-easily-engine-is-opensearch-powerful-scales-search-that",
"start_offset": 0,
"end_offset": 57,
"type": "fingerprint",
"position": 0
}
]
}