OpenSearch 工具
本节提供 OpenSearch 支持的工具文档,包括
- 智能体和摄入工具
- OpenSearch CLI
- OpenSearch Kubernetes 运算符
- OpenSearch 升级、迁移和比较工具
- Sycamore,用于对复杂文档进行 AI 驱动的提取、转换、加载 (ETL),以实现向量和混合搜索
有关 Data Prepper(用于过滤、丰富、转换、标准化和聚合数据以进行下游分析和可视化的服务器端数据收集器)的信息,请参阅Data Prepper。
智能体和摄入工具
历史上,许多流行的智能体和摄入工具都与 Elasticsearch OSS 配合使用,例如 Beats、Logstash、Fluentd、FluentBit 和 OpenTelemetry。OpenSearch 旨在继续支持广泛的智能体和摄入工具,但并非所有工具都经过测试或明确添加了 OpenSearch 兼容性。
作为一种中间兼容性解决方案,OpenSearch 1.x 和 2.x 提供了一个设置,指示集群返回版本 7.10.2,而不是其实际版本。
如果您使用的客户端包含版本检查,例如 Logstash OSS 或 Filebeat OSS 的 7.x - 7.12.x 版本,请启用该设置
PUT _cluster/settings
{
"persistent": {
"compatibility": {
"override_main_response_version": true
}
}
}
就像任何其他设置一样,另一种方法是在每个节点的 opensearch.yml
中添加以下行,然后重启节点
compatibility.override_main_response_version: true
Logstash OSS 8.0 引入了一个重大变更,所有插件默认以 ECS 兼容模式运行。如果您使用兼容的 OSS 客户端,您必须覆盖默认值以保持旧版行为
ecs_compatibility => disabled
下载
您可以从 OpenSearch 下载页面下载 Logstash 的 OpenSearch 输出插件。Logstash 输出插件兼容 OpenSearch 和 Elasticsearch OSS(7.10.2 或更低版本)。
以下是与 OpenSearch 兼容的最新 Beats OSS 版本。更多信息,请参阅下面的“兼容性矩阵”部分。
- Filebeat OSS 7.12.1
- Metricbeat OSS 7.12.1
- Packetbeat OSS 7.12.1
- Heartbeat OSS 7.12.1
- Winlogbeat OSS 7.12.1
- Auditbeat OSS 7.12.1
一些用户报告这些版本的 Beats 在摄入管道方面存在兼容性问题。如果您在 OpenSearch 中使用摄入管道,请考虑改用 7.10.2 版本的 Beats。
兼容性矩阵
斜体单元格未经测试,但表示根据现有信息,理论上应有的值。
Logstash 兼容性矩阵
Logstash OSS 7.0.0 至 7.11.x | Logstash OSS 7.12.x* | 不带 OpenSearch 输出插件的 Logstash 7.13.x-7.16.x | 带 OpenSearch 输出插件的 Logstash 7.13.x-7.16.x | 带 OpenSearch 输出插件的 Logstash 8.x+ | |
---|---|---|---|---|---|
Elasticsearch OSS 7.0.0 至 7.9.x | 是 | 是 | 否 | 是 | 是 |
Elasticsearch OSS 7.10.2 | 是 | 是 | 否 | 是 | 是 |
ODFE 1.0 至 1.12 | 是 | 是 | 否 | 是 | 是 |
ODFE 1.13 | 是 | 是 | 否 | 是 | 是 |
OpenSearch 1.x 至 2.x | 是,通过版本设置 | 是,通过版本设置 | 否 | 是 | 是,通过 Elastic 通用模式设置 |
OpenSearch 3.x | 否 | 否 | 否 | 是 | 是,通过 Elastic 通用模式设置 |
* 与 Elasticsearch OSS 最新的兼容版本。
Beats 兼容性矩阵
Beats OSS 7.0.0 至 7.11.x** | Beats OSS 7.12.x* | Beats 7.13.x | |
---|---|---|---|
Elasticsearch OSS 7.0.0 至 7.9.x | 是 | 是 | 否 |
Elasticsearch OSS 7.10.2 | 是 | 是 | 否 |
ODFE 1.0 至 1.12 | 是 | 是 | 否 |
ODFE 1.13 | 是 | 是 | 否 |
OpenSearch 1.x 至 2.x | 是,通过版本设置 | 是,通过版本设置 | 否 |
Logstash OSS 7.0.0 至 7.11.x | 是 | 是 | 是 |
Logstash OSS 7.12.x* | 是 | 是 | 是 |
带 OpenSearch 输出插件的 Logstash 7.13.x | 是 | 是 | 是 |
* 与 Elasticsearch OSS 最新的兼容版本。
** Beats OSS 包括所有 Apache 2.0 Beats 智能体(即 Filebeat、Metricbeat、Auditbeat、Heartbeat、Winlogbeat 和 Packetbeat)。
OpenSearch 不支持 7.12.x 之后版本的 Beats。如果您的环境中必须更新 Beats 智能体到更新的版本,您可以通过将流量从 Beats 指向 Logstash,并使用 Logstash Output 插件将数据摄入 OpenSearch 来解决不兼容问题。
有关日志和指标收集工具的建议,请参阅常见问题。
OpenSearch CLI
OpenSearch CLI 命令行界面 (opensearch-cli) 允许您从命令行管理 OpenSearch 集群并自动化任务。有关 OpenSearch CLI 的更多信息,请参阅OpenSearch CLI。
OpenSearch Kubernetes 运算符
OpenSearch Kubernetes 运算符是一个开源 Kubernetes 运算符,有助于在容器化环境中自动化 OpenSearch 和 OpenSearch Dashboards 的部署和配置。有关如何使用该运算符的信息,请参阅OpenSearch Kubernetes 运算符。
OpenSearch 升级、迁移和比较工具
OpenSearch 迁移工具可促进向 OpenSearch 的迁移和 OpenSearch 新版本的升级。这些工具可以帮助您使用 Docker 容器在本地设置概念验证环境,或使用一键部署脚本部署到 AWS。这使您能够在迁移之前更有效地微调集群配置和管理工作负载。
有关 OpenSearch 迁移工具的更多信息,请参阅 OpenSearch 迁移 GitHub 仓库中的文档。
Sycamore
Sycamore 是一个开源的、AI 驱动的文档处理引擎,旨在准备非结构化数据,用于使用 Python 进行检索增强生成 (RAG) 和语义搜索。Sycamore 支持对各种复杂文档类型(包括报告、演示文稿、文稿和手册)进行分块和丰富。此外,Sycamore 可以提取和处理嵌入元素,例如表格、图形、图表和其他信息图。然后,它可以使用 OpenSearch 连接器将数据加载到目标索引(包括向量和关键字索引)中。
更多信息,请参阅Sycamore。