对等转发器

对等转发器是一个 HTTP 服务，用于在 OpenSearch Data Prepper 节点之间执行 event 的对等转发以进行聚合。此 HTTP 服务使用哈希环方法来聚合事件并确定它应在给定跟踪上处理哪个 Data Prepper 节点，然后将其重新路由到该节点。目前，对等转发器受 aggregate、service_map_stateful 和 otel_traces_raw 处理器支持。

对等转发器根据受支持的处理器提供的识别键对事件进行分组。对于 service_map_stateful 和 otel_traces_raw，识别键默认为 traceId 且无法配置。aggregate 处理器使用 identification_keys 配置选项进行配置。您可以从此处指定对等转发器要使用的键。有关识别键的更多信息，请参阅 聚合处理器页面。

对等发现允许 Data Prepper 查找将与之通信的其他节点。目前，对等发现由静态列表、DNS 记录查找或 AWS Cloud Map 提供。

发现模式

以下部分提供有关发现模式的信息。

静态

静态发现模式允许 Data Prepper 节点使用 IP 地址或域名列表发现节点。以下 YAML 文件提供了静态发现模式的示例

peer_forwarder:4
  discovery_mode: static
  static_endpoints: ["data-prepper1", "data-prepper2"]

DNS 查找

当扩展 Data Prepper 集群时，DNS 发现优于静态发现。DNS 发现将 DNS 提供程序配置为在给定单个域名时返回 Data Prepper 主机列表。此列表包含 DNS A 记录以及给定域的 IP 地址列表。以下 YAML 文件提供了 DNS 查找的示例

peer_forwarder:
  discovery_mode: dns
  domain_name: "data-prepper-cluster.my-domain.net"

AWS Cloud Map

AWS Cloud Map 提供基于 API 的服务发现以及基于 DNS 的服务发现。

对等转发器可以使用 AWS Cloud Map 中基于 API 的服务发现。为了支持这一点，您必须有一个为 API 实例发现配置的现有命名空间。您可以按照 AWS Cloud Map 文档中提供的说明创建一个新的命名空间。

您的 Data Prepper 配置需要包含以下内容

• aws_cloud_map_namespace_name – 设置为您的 AWS Cloud Map 命名空间名称。
• aws_cloud_map_service_name – 设置为您的指定命名空间中的服务名称。
• aws_region – 设置为您的命名空间所在的 AWS 区域。
• discovery_mode – 设置为 aws_cloud_map。

您的 Data Prepper 配置可以选择包含以下内容

• aws_cloud_map_query_parameters – 键值对用于根据附加到实例的自定义属性过滤结果。结果仅包含与所有指定键值对匹配的实例。

示例配置

请参阅以下 AWS Cloud Map 配置的 YAML 文件示例

peer_forwarder:
  discovery_mode: aws_cloud_map
  aws_cloud_map_namespace_name: "my-namespace"
  aws_cloud_map_service_name: "data-prepper-cluster"
  aws_cloud_map_query_parameters:
    instance_type: "r5.xlarge"
  aws_region: "us-east-1"

具有必要权限的 IAM 策略

Data Prepper 还必须在必要的权限下运行。以下 AWS Identity and Access Management (IAM) 策略显示了必要的权限

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "CloudMapPeerForwarder",
            "Effect": "Allow",
            "Action": "servicediscovery:DiscoverInstances",
            "Resource": "*"
        }
    ]
}

配置

下表提供了可选的配置值。

SSL 配置

下表提供了可选的 SSL 配置值，允许您为对等转发器客户端设置信任管理器，以便连接到其他 Data Prepper 实例。

示例配置

以下 YAML 文件提供了示例配置

peer_forwarder:
  ssl: true
  ssl_certificate_file: "<cert-file-path>"
  ssl_key_file: "<private-key-file-path>"

身份验证

Authentication 是可选的 Map，用于启用相互 TLS (mTLS)。它可以是 mutual_tls 或 unauthenticated。默认值为 unauthenticated。以下 YAML 文件提供了身份验证示例

peer_forwarder:
  authentication:
    mutual_tls:

指标

核心对等转发器引入了以下自定义指标。所有指标均以 core.peerForwarder 为前缀。

计时器

对等转发器的计时器功能提供以下信息

• requestForwardingLatency：测量对等转发器客户端转发请求的延迟。
• requestProcessingLatency：测量对等转发器服务器处理请求的延迟。

计数器

下表提供了计数器指标选项。

Gauge

peerEndpoints 测量动态发现的对等 Data Prepper 端点数量。对于 static 模式，大小是固定的。