从 Logstash 迁移

您可以使用 Logstash 配置来运行 OpenSearch Data Prepper。

如OpenSearch Data Prepper 入门中所述，您需要使用 pipelines.yaml 文件配置 Data Prepper 管道。

或者，您可以使用 Logstash 配置 logstash.conf 来配置 Data Prepper，而不是使用 pipelines.yaml。

支持的插件

截至 Data Prepper 1.2 版本，Logstash 配置中的以下插件受支持

• HTTP 输入插件
• Grok 过滤器插件
• Elasticsearch 输出插件
• Amazon Elasticsearch 输出插件

限制

• 除支持的插件外，Logstash 配置中的所有其他插件都将抛出 Exception 并无法运行。
• 截至 Data Prepper 1.2 版本，Logstash 配置中的条件语句不受支持。

使用 Logstash 配置运行 Data Prepper

1. 要安装 Data Prepper 的 Docker 镜像，请参阅OpenSearch Data Prepper 入门中的“安装 Data Prepper”。

2. 通过提供您的 logstash.conf 配置，运行在步骤 1 中安装的 Docker 镜像。

docker run --name data-prepper -p 4900:4900 -v ${PWD}/logstash.conf:/usr/share/data-prepper/pipelines.conf opensearchproject/data-prepper:latest pipelines.conf

通过将 Logstash 配置中的插件和属性映射到 Data Prepper 中相应的插件和属性，logstash.conf 文件将转换为 logstash.yaml。您可以在存储 logstash.conf 的同一目录中找到转换后的 logstash.yaml 文件。

终端中的以下输出表明 Data Prepper 正在正常运行

INFO  org.opensearch.dataprepper.pipeline.ProcessWorker - log-pipeline Worker: No records received from buffer