Link Search Menu Expand Document Documentation Menu
文档

模式分词器

pattern 分词器是一个高度灵活的分词器，允许您根据自定义 Java 正则表达式将文本拆分为标记。与使用 Lucene 正则表达式的 simple_pattern 和 simple_pattern_split 分词器不同，pattern 分词器可以处理更复杂和详细的正则表达式模式，从而更好地控制文本的分词方式。

使用示例

以下示例请求创建了一个名为 my_index 的新索引，并使用 pattern 分词器配置了一个分析器。该分词器根据 -、_ 或 . 字符拆分文本。

PUT /my_index
{
  "settings": {
    "analysis": {
      "tokenizer": {
        "my_pattern_tokenizer": {
          "type": "pattern",
          "pattern": "[-_.]"
        }
      },
      "analyzer": {
        "my_pattern_analyzer": {
          "type": "custom",
          "tokenizer": "my_pattern_tokenizer"
        }
      }
    }
  },
  "mappings": {
    "properties": {
      "content": {
        "type": "text",
        "analyzer": "my_pattern_analyzer"
      }
    }
  }
}

生成的词元

使用以下请求检查使用该分析器生成的词元

POST /my_index/_analyze
{
  "analyzer": "my_pattern_analyzer",
  "text": "OpenSearch-2024_v1.2"
}

响应包含生成的词元

{
  "tokens": [
    {
      "token": "OpenSearch",
      "start_offset": 0,
      "end_offset": 10,
      "type": "word",
      "position": 0
    },
    {
      "token": "2024",
      "start_offset": 11,
      "end_offset": 15,
      "type": "word",
      "position": 1
    },
    {
      "token": "v1",
      "start_offset": 16,
      "end_offset": 18,
      "type": "word",
      "position": 2
    },
    {
      "token": "2",
      "start_offset": 19,
      "end_offset": 20,
      "type": "word",
      "position": 3
    }
  ]
}

参数

pattern 分词器可以使用以下参数进行配置。

参数 必需/可选 数据类型 描述
模式 可选 字符串 用于将文本拆分为标记的模式，使用 Java 正则表达式指定。默认值为 \W+。
标志 (flags) 可选 字符串 配置要应用于正则表达式的以管道分隔的 标志，例如 "CASE_INSENSITIVE|MULTILINE|DOTALL"。
组 可选 整数 指定要用作标记的捕获组。默认值为 -1 (在匹配项上拆分)。

使用组参数的示例

以下示例请求配置了一个 group 参数，该参数仅捕获第二个组。

PUT /my_index_group2
{
  "settings": {
    "analysis": {
      "tokenizer": {
        "my_pattern_tokenizer": {
          "type": "pattern",
          "pattern": "([a-zA-Z]+)(\\d+)",
          "group": 2
        }
      },
      "analyzer": {
        "my_pattern_analyzer": {
          "type": "custom",
          "tokenizer": "my_pattern_tokenizer"
        }
      }
    }
  }
}

使用以下请求检查使用该分析器生成的词元

POST /my_index_group2/_analyze
{
  "analyzer": "my_pattern_analyzer",
  "text": "abc123def456ghi"
}

响应包含生成的词元

{
  "tokens": [
    {
      "token": "123",
      "start_offset": 3,
      "end_offset": 6,
      "type": "word",
      "position": 0
    },
    {
      "token": "456",
      "start_offset": 9,
      "end_offset": 12,
      "type": "word",
      "position": 1
    }
  ]
}
剩余 350 字符

有问题？。

想贡献？或。