Link Search Menu Expand Document Documentation Menu
文档

本文档介绍了如何在 OpenSearch 摄入管道中使用 kv 处理器。如果您的用例涉及大型或复杂数据集，请考虑使用在 OpenSearch 集群上运行的 Data Prepper key_value 处理器。

KV 处理器

kv 处理器自动提取采用 key=value 格式的特定事件字段或消息。这种结构化格式通过基于键和值对数据进行分组来组织数据。它有助于分析、可视化和使用数据，例如用户行为分析、性能优化或安全调查。

示例

以下是 kv 处理器的语法

{
  "kv": {
    "field": "message",
    "field_split": " ",
    "value_split": " "
  }
}

配置参数

下表列出了 kv 处理器所需和可选的参数。

参数 必需/可选 描述
field（字段） 必需 包含要解析数据的字段名称。
field_split（字段分隔符） 必需 用于键值对分隔的正则表达式模式。
value_split（值分隔符） 必需 用于在键值对中将键与值分隔开的正则表达式模式，例如等号 = 或冒号 :。
exclude_keys（排除的键） 可选 要从文档中排除的键。默认为 null。
include_keys（包含的键） 可选 用于过滤和插入的键。默认为包含所有键。
prefix（前缀） 可选 要添加到提取的键的前缀。默认为 null。
strip_brackets（去除括号） 可选 如果设置为 true，则从提取的值中去除括号 ((), <>, 或 []) 和引号 (' 或 ")。默认为 false。
trim_key（修剪键） 可选 要从提取的键中修剪的字符串。
trim value（修剪值） 可选 要从提取的值中修剪的字符串。
description（描述） 可选 处理器的简要描述。
if（条件） 可选 运行处理器的条件。
ignore_failure（忽略失败） 可选 如果设置为 true，则忽略失败。默认为 false。
on_failure（失败时） 可选 处理器失败时要运行的处理器列表。
ignore_missing（忽略缺失） 可选 指定处理器是否应忽略不包含指定字段的文档。默认为 false。
tag（标签） 可选 处理器的标识符标签。有助于调试以区分相同类型的处理器。
target_field（目标字段） 可选 用于插入提取的键的字段名称。默认为 null。

使用处理器

按照以下步骤在管道中使用处理器。

步骤 1：创建管道

以下查询创建一个名为 kv-pipeline 的管道，该管道使用 kv 处理器提取文档的 message 字段

PUT _ingest/pipeline/kv-pipeline
{
  "description" : "Pipeline that extracts user profile data",
  "processors" : [
    {
      "kv" : {
        "field" : "message",
        "field_split": " ",
        "value_split": "="
      }
    }
  ]
}

步骤 2（可选）：测试管道

建议在摄取文档之前测试您的管道。

要测试管道，请运行以下查询

POST _ingest/pipeline/kv-pipeline/_simulate
{  
  "docs": [  
    {  
      "_index": "testindex1",  
      "_id": "1",  
      "_source":{  
         "message": "goodbye=everybody hello=world"  
      }  
    }  
  ]  
}

响应

以下示例响应确认，除了原始的 message 字段之外，文档还包含从键值对生成的字段

{  
  "docs": [  
    {  
      "doc": {  
        "_index": "testindex1",  
        "_id": "1",  
        "_source": {  
          "hello": "world",  
          "message": "goodbye=everybody hello=world",  
          "goodbye": "everybody"  
        },  
        "_ingest": {  
          "timestamp": "2023-12-06T09:59:21.823292Z"  
        }  
      }  
    }  
  ]  
}

步骤 3：摄取文档

以下查询将文档摄取到名为 testindex1 的索引中

PUT testindex1/_doc/1?pipeline=kv-pipeline
{  
  "message": "goodbye=everybody hello=world"  
}

步骤 4（可选）：检索文档

要检索文档，请运行以下查询

GET testindex1/_doc/1

剩余 350 字符

有问题？。

想做贡献？ 或 。