Link Search Menu Expand Document Documentation Menu
文档

Whitespace 分词器

whitespace 分词器根据空白字符（如空格、制表符和换行符）分割文本。它将每个由空白分隔的词视为一个词元，并且不执行任何额外的分析或规范化，例如小写转换或标点符号删除。

使用示例

以下示例请求创建一个名为 my_index 的新索引，并配置一个带有 whitespace 分词器的分析器

PUT /my_index
{
  "settings": {
    "analysis": {
      "tokenizer": {
        "whitespace_tokenizer": {
          "type": "whitespace"
        }
      },
      "analyzer": {
        "my_whitespace_analyzer": {
          "type": "custom",
          "tokenizer": "whitespace_tokenizer"
        }
      }
    }
  },
  "mappings": {
    "properties": {
      "content": {
        "type": "text",
        "analyzer": "my_whitespace_analyzer"
      }
    }
  }
}

生成的词元

使用以下请求检查使用该分析器生成的词元

POST /my_index/_analyze
{
  "analyzer": "my_whitespace_analyzer",
  "text": "OpenSearch is fast! Really fast."
}

响应包含生成的词元

{
  "tokens": [
    {
      "token": "OpenSearch",
      "start_offset": 0,
      "end_offset": 10,
      "type": "word",
      "position": 0
    },
    {
      "token": "is",
      "start_offset": 11,
      "end_offset": 13,
      "type": "word",
      "position": 1
    },
    {
      "token": "fast!",
      "start_offset": 14,
      "end_offset": 19,
      "type": "word",
      "position": 2
    },
    {
      "token": "Really",
      "start_offset": 20,
      "end_offset": 26,
      "type": "word",
      "position": 3
    },
    {
      "token": "fast.",
      "start_offset": 27,
      "end_offset": 32,
      "type": "word",
      "position": 4
    }
  ]
}

参数

whitespace 分词器可以通过以下参数进行配置。

参数 必需/可选 数据类型 描述
max_token_length 可选 整数 设置生成词元的最大长度。如果超出此长度，词元将在 max_token_length 中配置的长度处被分割成多个词元。默认值为 255。
剩余 350 字符

有问题？。

想要贡献？ 或 。