十进制数字分词过滤器
decimal_digit 分词过滤器用于将十进制数字字符 (0–9) 规范化为其在各种脚本中的 ASCII 等效项。这在文本分析中非常有用，可以确保无论数字以何种脚本书写，都被统一处理。
示例
以下示例请求创建了一个名为 my_index 的新索引，并配置了一个带有 decimal_digit 过滤器的分析器。
PUT /my_index
{
"settings": {
"analysis": {
"filter": {
"my_decimal_digit_filter": {
"type": "decimal_digit"
}
},
"analyzer": {
"my_analyzer": {
"type": "custom",
"tokenizer": "standard",
"filter": ["my_decimal_digit_filter"]
}
}
}
}
}
生成的词元
使用以下请求检查使用该分析器生成的词元
POST /my_index/_analyze
{
"analyzer": "my_analyzer",
"text": "123 ١٢٣ १२३"
}
文本分解
- “123”（ASCII 数字）
- “١٢٣”（阿拉伯数字）
- “१२३”（天城文数字）
响应包含生成的词元
{
"tokens": [
{
"token": "123",
"start_offset": 0,
"end_offset": 3,
"type": "<NUM>",
"position": 0
},
{
"token": "123",
"start_offset": 4,
"end_offset": 7,
"type": "<NUM>",
"position": 1
},
{
"token": "123",
"start_offset": 8,
"end_offset": 11,
"type": "<NUM>",
"position": 2
}
]
}