Link Search Menu Expand Document Documentation Menu
文档

本文档介绍了如何在 OpenSearch 摄入管道中使用 date 处理器。如果您的用例涉及大型或复杂数据集，请考虑使用在 OpenSearch 集群上运行的 Data Prepper date 处理器。

日期处理器

date 处理器用于从文档字段中解析日期，并将解析后的数据添加到新字段。默认情况下，解析后的数据存储在 @timestamp 字段中。

语法示例

以下是 date 处理器的语法

{
  "date": {
    "field": "date_field",
    "formats": ["yyyy-MM-dd'T'HH:mm:ss.SSSZZ"]
  }
}

配置参数

下表列出了 date 处理器所需和可选的参数。

参数 必需/可选 描述
字段 必需 包含要转换数据的字段名称。支持模板代码段。
格式 必需 预期日期格式的数组。可以是日期格式，也可以是以下格式之一：ISO8601、UNIX、UNIX_MS 或 TAI64N。
描述 可选 处理器的简要描述。
条件 可选 运行处理器的条件。
忽略失败 可选 指定即使处理器遇到错误是否继续执行。如果设置为 true，则忽略失败。默认为 false。
区域设置 可选 解析日期时使用的区域设置。默认为 ENGLISH。支持模板片段。
失败时 可选 处理器失败时要运行的处理器列表。
输出格式 可选 目标字段使用的日期格式。默认为 yyyy-MM-dd'T'HH:mm:ss.SSSZZ。
标签 可选 处理器的标识符标签。有助于调试以区分相同类型的处理器。
目标字段 可选 用于存储解析数据的字段名称。默认目标字段为 @timestamp。
时区 可选 解析日期时使用的时区。默认为 UTC。支持模板片段。

使用处理器

按照以下步骤在管道中使用处理器。

步骤 1：创建管道

以下查询创建了一个名为 date-output-format 的管道，它使用 date 处理器将欧洲日期格式转换为美国日期格式，并添加带有所需 output_format 的新字段 date_us。

PUT /_ingest/pipeline/date-output-format
{
  "description": "Pipeline that converts European date format to US date format",
  "processors": [
    {
      "date": {
        "field" : "date_european",
        "formats" : ["dd/MM/yyyy", "UNIX"],
        "target_field": "date_us",
        "output_format": "MM/dd/yyy",
        "timezone" : "UTC"
      }
    }
  ]
}

步骤 2（可选）：测试管道

建议在摄取文档之前测试您的管道。

要测试管道，请运行以下查询

POST _ingest/pipeline/date-output-format/_simulate
{
  "docs": [
    {
      "_index": "testindex1",
      "_id": "1",
      "_source": {
        "date_us": "06/30/2023",
        "date_european": "30/06/2023"
      }
    }
  ]
}

响应

以下示例响应确认管道按预期工作

{
  "docs": [
    {
      "doc": {
        "_index": "testindex1",
        "_id": "1",
        "_source": {
          "date_us": "06/30/2023",
          "date_european": "30/06/2023"
        },
        "_ingest": {
          "timestamp": "2023-08-22T17:08:46.275195504Z"
        }
      }
    }
  ]
}

步骤 3：摄取文档

以下查询将文档摄取到名为 testindex1 的索引中

PUT testindex1/_doc/1?pipeline=date-output-format
{
  "date_european": "30/06/2023"
}

步骤 4（可选）：检索文档

要检索文档，请运行以下查询

GET testindex1/_doc/1

剩余 350 字符

有问题？。

想要贡献？或。