配置 OpenSearch Data Prepper

您可以通过编辑 Data Prepper 安装中的 data-prepper-config.yaml 文件来自定义 OpenSearch Data Prepper 配置。以下配置选项独立于管道配置选项。

Data Prepper 配置

使用以下选项自定义您的 Data Prepper 配置。

对等转发器选项

以下部分详细介绍了对等转发器的各种配置选项。

对等转发的通用选项

对等转发器的 TLS/SSL 选项

对等转发器的身份验证选项

断路器

Data Prepper 提供断路器，以帮助防止 Java 内存耗尽。当管道包含有状态处理器时，这会很有用，因为这些处理器可以在缓冲区之外保留内存使用量。

当断路器跳闸时，Data Prepper 会拒绝传入数据路由到缓冲区。

堆断路器

配置 Data Prepper，使其在 JVM 堆达到指定使用阈值时跳闸断路器。

扩展插件

Data Prepper 支持用户可配置的扩展插件。扩展插件是跨管道插件共享的通用配置，例如源、缓冲区、处理器和接收器。

AWS 扩展插件

要使用 AWS 扩展插件，请在 data-prepper-config.yaml 中的 aws 下添加以下设置。

AWS secrets 扩展插件

AWS secrets 扩展插件配置 AWS Secrets Manager，以便在管道插件配置中引用，示例如下：

extensions:
  aws:
    secrets:
      <YOUR_SECRET_CONFIG_ID_1>:
        secret_id: <YOUR_SECRET_ID_1>
        region: <YOUR_REGION_1>
        sts_role_arn: <YOUR_STS_ROLE_ARN_1>
        refresh_interval: <YOUR_REFRESH_INTERVAL>
        disable_refresh: false
      <YOUR_SECRET_CONFIG_ID_2>:
        ...

要使用 secrets 扩展插件，请在 pipeline.yaml 中的 extensions > aws 下添加以下设置。

Secrets

在 secrets 扩展设置下使用以下设置。

引用秘密

在 pipelines.yaml 中，可以在管道插件中通过以下格式引用秘密值

• 纯文本: ${{aws_secrets:<YOUR_SECRET_CONFIG_ID>}}。
• JSON（键值对）: ${{aws_secrets:<YOUR_SECRET_CONFIG_ID>:<YOUR_KEY>}}

将 <YOUR_SECRET_CONFIG_ID> 替换为 /extensions/aws/secrets 下对应的秘密配置 ID。将 <YOUR_KEY> 替换为秘密 JSON 值中所需的键。秘密值引用字符串格式可解析为以下插件设置数据类型：

• 字符串
• 数字
• 长整型
• Short
• 整数
• Double
• 浮点型
• 布尔型
• Character

以下 data-prepper-config.yaml 示例部分命名了两个秘密配置 ID：host-secret-config 和 credential-secret-config

extensions:
  aws:
    secrets:
      host-secret-config:
        secret_id: <YOUR_SECRET_ID_1>
        region: <YOUR_REGION_1>
        sts_role_arn: <YOUR_STS_ROLE_ARN_1>
        refresh_interval: <YOUR_REFRESH_INTERVAL_1>
      credential-secret-config:
        secret_id: <YOUR_SECRET_ID_2>
        region: <YOUR_REGION_2>
        sts_role_arn: <YOUR_STS_ROLE_ARN_2>
        refresh_interval: <YOUR_REFRESH_INTERVAL_2>

配置 <YOUR_SECRET_CONFIG_ID> 后，您可以在 pipelines.yaml 中引用这些 ID。

sink:
    - opensearch:
        hosts: [ "${{aws_secrets:host-secret-config}}" ]
        username: "${{aws_secrets:credential-secret-config:username}}"
        password: "${{aws_secrets:credential-secret-config:password}}"
        index: "test-migration"

自动刷新秘密

对于每个单独的秘密配置，系统会定期轮询最新的秘密值，以支持 AWS Secrets Manager 中的秘密刷新。刷新的秘密值将被某些管道插件用于刷新其组件，例如与后端服务的连接和身份验证。

对于多个秘密配置，在初始秘密轮询期间，所有配置将应用 60s 内的抖动。