Link Search Menu Expand Document Documentation Menu
文档

本文档介绍了在 OpenSearch 摄入管道中使用 append 处理器的方法。如果您的用例涉及大型或复杂数据集，请考虑使用在 OpenSearch 集群上运行的 Data Prepper add_entries 处理器。

追加处理器

append 处理器用于向字段添加值。

  • 如果字段是数组，append 处理器将指定值追加到该数组。
  • 如果字段是标量字段，append 处理器会将其转换为数组，并将指定值追加到该数组。
  • 如果字段不存在，append 处理器将创建一个包含指定值的数组。

语法

以下是 append 处理器语法：

{
  "append": {
    "field": "your_target_field",
    "value": ["your_appended_value"]
  }
}

配置参数

下表列出了 append 处理器的必需参数和可选参数。

参数 必需/可选 描述
field 必需 包含要追加数据的字段的名称。支持模板片段。
value 必需 要追加的值。这可以是静态值，也可以是根据现有字段派生的动态值。支持模板片段。
description 可选 处理器的简要描述。
if 可选 运行处理器的条件。
ignore_failure 可选 指定即使处理器遇到错误是否继续执行。如果设置为 true，则忽略失败。默认为 false。
allow_duplicates 可选 指定是否追加字段中已包含的值。如果为 true，则追加重复值。否则，它们将被跳过。
on_failure 可选 处理器失败时要运行的处理器列表。
tag 可选 处理器的标识符标签。有助于调试以区分相同类型的处理器。

使用处理器

按照以下步骤在管道中使用处理器。

步骤 1：创建管道

以下查询创建一个名为 user-behavior 的管道，其中包含一个追加处理器。它将摄入 OpenSearch 的每个新文档的 page_view 追加到一个名为 event_types 的数组字段中。

PUT _ingest/pipeline/user-behavior
{
  "description": "Pipeline that appends event type",
  "processors": [
    {
      "append": {
        "field": "event_types",
        "value": ["page_view"]
      }
    }
  ]
}

步骤 2（可选）：测试管道

建议在摄取文档之前测试您的管道。

要测试管道，请运行以下查询

POST _ingest/pipeline/user-behavior/_simulate
{
  "docs":[
    {
      "_source":{
      }
    }
  ]
}

响应

以下响应确认管道按预期工作

{
  "docs": [
    {
      "doc": {
        "_index": "_index",
        "_id": "_id",
        "_source": {
          "event_types": [
            "page_view"
          ]
        },
        "_ingest": {
          "timestamp": "2023-08-28T16:55:10.621805166Z"
        }
      }
    }
  ]
}

步骤 3：摄取文档

以下查询将文档摄取到名为 testindex1 的索引中

PUT testindex1/_doc/1?pipeline=user-behavior
{
}

步骤 4（可选）：检索文档

要检索文档，请运行以下查询

GET testindex1/_doc/1

由于文档不包含 event_types 字段，因此会创建一个数组字段，并将事件追加到该数组中。

{
  "_index": "testindex1",
  "_id": "1",
  "_version": 2,
  "_seq_no": 1,
  "_primary_term": 1,
  "found": true,
  "_source": {
    "event_types": [
      "page_view"
    ]
  }
}
剩余 350 字符

有问题？。

想贡献吗？或。