Link Search Menu Expand Document Documentation Menu
文档

本文档描述了在 OpenSearch 摄入管道中使用 csv 处理器。如果您的用例涉及大型或复杂数据集，请考虑使用在 OpenSearch 集群上运行的 Data Prepper csv 处理器。

CSV 处理器

csv 处理器用于解析 CSV 并将其作为单独的字段存储在文档中。该处理器会忽略空字段。

语法

以下是 csv 处理器的语法

{
  "csv": {
    "field": "field_name",
    "target_fields": ["field1, field2, ..."]
  }
}

配置参数

下表列出了 csv 处理器所需和可选的参数。

参数 必需/可选 描述
field 必需 包含要转换数据的字段名称。支持模板片段。
target_fields 必需 存储解析后数据的字段名称。
description 可选 处理器的简要描述。
empty_value 可选 表示不要求或不适用的可选参数。
if 可选 运行处理器的条件。
ignore_failure 可选 指定即使处理器遇到错误是否继续执行。如果设置为 true，则忽略失败。默认为 false。
ignore_missing 可选 指定处理器是否应忽略不包含指定字段的文档。如果设置为 true，则如果字段不存在或为 null，处理器将不会修改文档。默认值为 false。
on_failure 可选 处理器失败时要运行的处理器列表。
quote 可选 CSV 数据中用于引用字段的字符。默认值为 "。
separator 可选 CSV 数据中用于分隔字段的分隔符。默认值为 ,。
tag 可选 处理器的标识符标签。有助于调试以区分相同类型的处理器。
trim（修剪） 可选 如果设置为 true，处理器会删除文本开头和结尾的空白字符。默认值为 false。

使用处理器

按照以下步骤在管道中使用处理器。

步骤 1：创建管道

以下查询创建了一个名为 csv-processor 的管道，该管道将 resource_usage 分割成三个新字段：cpu_usage、memory_usage 和 disk_usage。

PUT _ingest/pipeline/csv-processor
{
  "description": "Split resource usage into individual fields",
  "processors": [
    {
      "csv": {
        "field": "resource_usage",
        "target_fields": ["cpu_usage", "memory_usage", "disk_usage"],
        "separator": ","
      }
    }
  ]
}

步骤 2（可选）：测试管道

建议在摄取文档之前测试您的管道。

要测试管道，请运行以下查询

POST _ingest/pipeline/csv-processor/_simulate
{
  "docs": [
    {
      "_index": "testindex1",
      "_id": "1",
      "_source": {
        "resource_usage": "25,4096,10",
        "memory_usage": "4096",
        "disk_usage": "10",
        "cpu_usage": "25"
      }
    }
  ]
}

响应

以下示例响应确认管道按预期工作

{
  "docs": [
    {
      "doc": {
        "_index": "testindex1",
        "_id": "1",
        "_source": {
          "memory_usage": "4096",
          "disk_usage": "10",
          "resource_usage": "25,4096,10",
          "cpu_usage": "25"
        },
        "_ingest": {
          "timestamp": "2023-08-22T16:40:45.024796379Z"
        }
      }
    }
  ]
}

步骤 3：摄取文档

以下查询将文档摄取到名为 testindex1 的索引中

PUT testindex1/_doc/1?pipeline=csv-processor
{
  "resource_usage": "25,4096,10"
}

步骤 4（可选）：检索文档

要检索文档，请运行以下查询

GET testindex1/_doc/1

剩余 350 字符

有问题？。

想贡献吗？ 或 。