长度词元过滤器
length
词元过滤器用于从词元流中移除不符合指定长度标准(最小值和最大值)的词元。
参数
length
词元过滤器可以使用以下参数进行配置。
参数 | 必需/可选 | 数据类型 | 描述 |
---|---|---|---|
min | 可选 | 整数 | 最小词元长度。默认值为 0 。 |
max | 可选 | 整数 | 最大词元长度。默认值为 Integer.MAX_VALUE (2147483647 )。 |
示例
以下示例请求创建一个名为 my_index
的新索引,并配置一个带有 length
过滤器的分析器
PUT my_index
{
"settings": {
"analysis": {
"analyzer": {
"only_keep_4_to_10_characters": {
"tokenizer": "whitespace",
"filter": [ "length_4_to_10" ]
}
},
"filter": {
"length_4_to_10": {
"type": "length",
"min": 4,
"max": 10
}
}
}
}
}
生成的词元
使用以下请求检查使用该分析器生成的词元
GET /my_index/_analyze
{
"analyzer": "only_keep_4_to_10_characters",
"text": "OpenSearch is a great tool!"
}
响应包含生成的词元
{
"tokens": [
{
"token": "OpenSearch",
"start_offset": 0,
"end_offset": 10,
"type": "word",
"position": 0
},
{
"token": "great",
"start_offset": 16,
"end_offset": 21,
"type": "word",
"position": 3
},
{
"token": "tool!",
"start_offset": 22,
"end_offset": 27,
"type": "word",
"position": 4
}
]
}