词语分隔符图词元过滤器

word_delimiter_graph 词元过滤器用于根据预定义字符拆分词元，并提供基于可自定义规则的可选词元规范化。

word_delimiter_graph 过滤器用于从部件号或产品 ID 等复杂标识符中移除标点符号。在这种情况下，最好与 keyword 分词器一起使用。对于连字符词，请使用 synonym_graph 词元过滤器而不是 word_delimiter_graph 过滤器，因为用户经常使用带连字符和不带连字符的两种方式搜索这些词。

默认情况下，该过滤器应用以下规则。

重要的是，不要将剥离标点符号的分词器（例如 standard 分词器）与此过滤器一起使用。这样做可能会阻止正确的词元拆分，并干扰 catenate_all 或 preserve_original 等选项。我们建议将此过滤器与 keyword 或 whitespace 分词器一起使用。

参数

您可以使用以下参数配置 word_delimiter_graph 词元过滤器。

示例

以下示例请求创建了一个名为 my-custom-index 的新索引，并配置了一个带有 word_delimiter_graph 过滤器的分析器

PUT /my-custom-index
{
  "settings": {
    "analysis": {
      "analyzer": {
        "custom_analyzer": {
          "tokenizer": "keyword",
          "filter": [ "custom_word_delimiter_filter" ]
        }
      },
      "filter": {
        "custom_word_delimiter_filter": {
          "type": "word_delimiter_graph",
          "split_on_case_change": true,
          "split_on_numerics": true,
          "stem_english_possessive": true
        }
      }
    }
  }
}

生成的词元

使用以下请求检查使用该分析器生成的词元

GET /my-custom-index/_analyze
{
  "analyzer": "custom_analyzer",
  "text": "FastCar's Model2023"
}

响应包含生成的词元

{
  "tokens": [
    {
      "token": "Fast",
      "start_offset": 0,
      "end_offset": 4,
      "type": "word",
      "position": 0
    },
    {
      "token": "Car",
      "start_offset": 4,
      "end_offset": 7,
      "type": "word",
      "position": 1
    },
    {
      "token": "Model",
      "start_offset": 10,
      "end_offset": 15,
      "type": "word",
      "position": 2
    },
    {
      "token": "2023",
      "start_offset": 15,
      "end_offset": 19,
      "type": "word",
      "position": 3
    }
  ]
}   

word_delimiter_graph 和 word_delimiter 过滤器之间的区别

当以下任何参数设置为 true 时，word_delimiter_graph 和 word_delimiter 词元过滤器都会生成跨越多个位置的词元

• catenate_all
• catenate_numbers
• catenate_words
• preserve_original

为了说明这些过滤器之间的差异，请考虑输入文本 Pro-XT500。

word_delimiter_graph

word_delimiter_graph 过滤器为多位置词元分配一个 positionLength 属性，指示词元跨越多少个位置。这确保了过滤器始终生成有效的词元图，使其适用于高级词元图场景。尽管索引不支持包含多位置词元的词元图，但它们在搜索场景中仍然很有用。例如，match_phrase 等查询可以使用这些图从单个输入字符串生成多个子查询。对于示例输入文本，word_delimiter_graph 过滤器生成以下词元

• Pro (位置 1)
• XT500 (位置 2)
• ProXT500 (位置 1, positionLength: 2)

positionLength 属性允许生成用于高级查询的有效图。

word_delimiter

相反，word_delimiter 过滤器不为多位置词元分配 positionLength 属性，导致当这些词元存在时生成无效的图。对于示例输入文本，word_delimiter 过滤器生成以下词元

• Pro (位置 1)
• XT500 (位置 2)
• ProXT500 (位置 1, 无 positionLength)

缺少 positionLength 属性会导致词元流中包含多位置词元时，词元图无效。