在 OpenSearch Dashboards 中配置和使用多个数据源
您可以在 OpenSearch Dashboards 中从多个数据源摄取、处理和分析数据。您可以在 Dashboards Management > Data sources 下配置数据源。此界面如下图所示。
入门
以下教程将指导您如何在 OpenSearch Dashboards 中配置和使用多个数据源。
使用多个数据源时不支持以下功能:时间线可视化类型。
步骤 1:修改 YAML 文件设置
要使用多个数据源,您必须启用 data_source.enabled
设置。此设置默认禁用。要启用多个数据源,请执行以下操作:
- 打开您本地的 OpenSearch Dashboards 配置文件
opensearch_dashboards.yml
。如果您没有此文件副本,可在 GitHub 上找到opensearch_dashboards.yml
。 - 将
data_source.enabled:
设置为true
并保存 YAML 文件。 - 重启 OpenSearch Dashboards 容器。
- 通过连接到 OpenSearch Dashboards 并查看 Dashboards Management 导航菜单,验证配置设置是否正确。Data sources 将显示在侧边栏中。您会看到类似于下图的视图。
步骤 2:创建新的数据源连接
数据源连接指定了连接到数据源所需的参数。这些参数构成了数据源的连接字符串。
要创建新的数据源连接,请执行以下操作:
-
从 OpenSearch Dashboards 主菜单中,选择 Dashboards Management > Data sources > Create data source connection。
-
在每个必填字段中添加信息,以配置 Connection Details(连接详细信息)和 Authentication Method(认证方法)。
-
在 Connection Details(连接详细信息)下,输入标题和端点 URL。对于本教程,请使用 URL
https://:9200/
。输入描述是可选的。 - 在 Authentication Method(认证方法)下,从下拉列表中选择一个认证方法。一旦选择了认证方法,该方法适用的字段将显示出来。然后您可以输入所需的详细信息。认证方法选项包括:
- No authentication(无认证):不使用认证连接到数据源。
- Username & Password(用户名和密码):使用基本的用户名和密码连接到数据源。
- AWS SigV4:使用 AWS Signature Version 4 认证请求连接到数据源。AWS Signature Version 4 需要访问密钥和秘密密钥。
- 对于 AWS Signature Version 4 认证,首先指定 Region(区域)。然后,从 Service Name(服务名称)列表中选择 OpenSearch 服务。选项包括 Amazon OpenSearch Service 和 Amazon OpenSearch Serverless。最后,输入 Access Key(访问密钥)和 Secret Key(秘密密钥)进行授权。
有关 AWS 账户可用 AWS 区域的信息,请参阅可用区域。有关 AWS Signature Version 4 认证请求的更多信息,请参阅认证请求 (AWS Signature Version 4)。
- 在所有必填字段中输入适当的详细信息后,Test connection(测试连接)和 Create data source(创建数据源)按钮将变为可用。您可以选择 Test connection(测试连接)以确认连接有效。
-
-
选择 Create data source(创建数据源)以保存您的设置。连接已创建,新数据源将显示在 Data Sources(数据源)主页的列表中。您创建的第一个数据源被标记为默认数据源。
-
编辑或更新数据源连接。
-
在 Data Sources(数据源)主页上,选择要修改的连接。Connection Details(连接详细信息)窗口将打开。
-
要将选定的数据源标记为默认数据源,请选择 Set as default(设为默认)选项。
-
要更改 Connection Details(连接详细信息),请编辑 Title(标题)和/或 Description(描述)字段,然后选择屏幕右下角的 Save changes(保存更改)。您也可以在此处取消更改。要更改 Authentication Method(认证方法),请选择不同的认证方法,输入您的凭据(如果适用),然后选择屏幕右下角的 Save changes(保存更改)。更改将被保存。
- 当选择 Username & Password(用户名和密码)作为认证方法时,您可以通过选择 Password(密码)字段旁边的 Update stored password(更新存储密码)来更新密码。在弹出窗口中,在第一个字段中输入新密码,然后在第二个字段中再次输入以确认。在弹出窗口中选择 Update stored password(更新存储密码)。新密码已保存。选择 Test connection(测试连接)以确认连接有效。
- 当选择 AWS SigV4 作为认证方法时,您可以通过选择 Update stored AWS credential(更新存储的 AWS 凭据)来更新凭据。在弹出窗口中,在第一个字段中输入新的访问密钥,在第二个字段中输入新的秘密密钥。在弹出窗口中选择 Update stored AWS credential(更新存储的 AWS 凭据)。新凭据已保存。选择屏幕右上角的 Test connection(测试连接)以确认连接有效。
-
-
通过选择标题左侧的复选框,然后选择 Delete 1 connection(删除 1 个连接)来删除数据源连接。支持为多个连接选择多个复选框。或者,选择
图标。
数据源连接界面如下图所示。
通过开发工具控制台选择多个数据源
或者,您可以通过 开发工具 控制台选择多个数据源。此选项允许您处理更广泛的数据,并更深入地了解您的代码和应用程序。
观看以下10秒视频,了解其实际操作。
通过开发工具控制台选择数据源,请按照以下步骤操作:
- 找到您的
opensearch_dashboards.yml
副本并使用您选择的编辑器打开它。 - 将
data_source.enabled
设置为true
。 - 连接到 OpenSearch Dashboards 并在菜单中选择 开发工具。
-
在 控制台 的编辑器窗格中输入以下查询,然后选择播放按钮:
GET /_cat/indices
- 从 数据源 下拉菜单中选择一个数据源,然后查询该源。
- 对您要选择的每个数据源重复上述步骤。
将保存的对象上传到来自已连接数据源的仪表板
要将来自已连接数据源的已保存对象上传到具有多个数据源的仪表板,请将其从数据源的 已保存对象管理 页面导出为 NDJSON 文件。然后将文件上传到仪表板的 已保存对象管理 页面。此方法可以简化已保存对象在仪表板之间的传输。以下20秒视频展示了此功能。
从已连接数据源导入已保存对象
请按照以下步骤从已连接数据源导入已保存对象:
- 找到您的
opensearch_dashboards.yml
文件并使用您偏好的文本编辑器打开它。 - 将
data_source.enabled
设置为true
。 - 连接到 OpenSearch Dashboards 并转到 仪表板管理 > 已保存对象。
- 选择 导入 > 选择文件 并上传从已连接数据源获取的文件。
- 从下拉菜单中选择适当的 数据源,设置您的 冲突管理 选项,然后选择 导入 按钮。
显示或隐藏身份验证方法
2.13 版本引入
您 opensearch_dashboards.yml
文件中的功能标志允许您在 data_source
插件中显示或隐藏身份验证方法。以下设置隐藏了 AWSSigV4
的身份验证方法。
# Set enabled to false to hide the authentication method from multiple data source in OpenSearch Dashboards.
# If this setting is commented out, then all three options will be available in OpenSearch Dashboards.
# The default value will be considered as true.
data_source.authTypes:
NoAuthentication:
enabled: true
UsernamePassword:
enabled: true
AWSSigV4:
enabled: false
以下演示展示了此过程。
显示或隐藏本地集群
2.13 版本引入
您 opensearch_dashboards.yml
文件中的功能标志允许您在 data_source
插件中隐藏本地集群选项。此选项将本地集群从数据源下拉菜单和索引创建页面中隐藏,这对于有或没有本地 OpenSearch 集群的环境都是理想的。以下示例设置(在20秒演示中显示)隐藏了本地集群:
# hide local cluster in the data source dropdown and index pattern creation page.
data_source.hideLocalCluster: true
以下演示展示了此过程。
将多个数据源与外部仪表板插件一起使用
2.14 版本引入
以下插件现在支持多个数据源。
索引管理
当您设置 data_source.enabled:true
时,您可以直接从界面查看和选择数据源及其相关索引。
- 在主菜单下导航到 管理 > 索引管理。
- 从侧边栏菜单中选择 索引,然后选择右上角菜单栏上的
图标。
- 从下拉菜单中选择适当的数据源,然后从列表中选择适当的索引。默认情况下,会显示来自默认数据源的索引。您可以选择任何已连接的数据源来查看其对应的索引。
以下 GIF 演示了这些步骤。
要在数据源中对特定索引执行操作,请从列表中选择单个索引。要创建新索引,请选择 创建索引 按钮,这将打开一个表单。输入所需信息并选择 创建 按钮。索引将在所选数据源中创建。以下 GIF 演示了这些步骤。
异常检测
当您设置 data_source.enabled:true
时,您可以创建或查看与数据源关联的检测器。
- 在主菜单下导航到 OpenSearch 插件 > 异常检测。
- 选择右上角菜单栏上的数据库图标以查看已连接数据源的列表。
- 选择一个数据源以查看相关检测器的列表。如果所选数据源没有检测器,则 创建检测器 按钮将显示在右上角菜单栏下方。有关通过界面创建检测器的说明,请参阅创建异常检测器。
以下 GIF 演示了这些步骤。
您可以在左侧边栏下的 检测器 选项卡上编辑数据源的相关检测器。
- 选择 检测器,然后选择右上角菜单栏上的
图标。
- 从下拉菜单中选择适当的数据源。将显示相关检测器的列表。
- 从列表中选择一个检测器,选择 操作,然后从下拉菜单中选择适当的编辑选项。
- 输入适用的设置和配置详细信息。
以下 GIF 演示了这些步骤。
安全
当您设置 data_source.enabled:true
时,您可以查看和管理每个已连接数据源的角色。
- 在主菜单下导航到 管理 > 安全。
- 从左侧边栏菜单中选择 角色,然后选择右上角菜单栏上的
图标。
- 从下拉菜单中选择适当的数据源,然后选择 创建角色 按钮以添加新角色。
- 输入所需的配置信息,然后选择 创建 按钮以保存。
以下 GIF 演示了这些步骤。
地图
当您设置 data_source.enabled:true
时,您可以在地图中查看所有可用数据源,包括当前用作图层的数据源。
- 在主菜单下导航到 OpenSearch 插件 > 地图。
- 从下拉菜单中选择适当的数据源以编辑或创建关联的地图图层。
- 通过从 图层 下拉菜单中选择一个图层来编辑地图图层。在弹出窗口中,查看设置并根据需要进行编辑。
- 通过从下拉菜单中选择 添加图层 按钮,然后在弹出窗口中选择 文档 来添加新图层。右侧将出现另一个弹出窗口。在 数据 选项卡中输入所需信息。请注意,数据源名称会作为前缀添加到索引模式名称中。样式 和 设置 选项卡包含可选信息。
- 选择 更新 以保存设置。
- 选择菜单栏上的 保存 按钮以保存已编辑或新图层。
- 选择右上角菜单栏上的
图标,以验证新数据源是否已列在下拉菜单中。
以下 GIF 演示了这些步骤。
机器学习
当您设置 data_source.enabled:true
时,您可以管理来自不同已连接数据源的机器学习模型。
- 在主菜单下导航到 OpenSearch 插件 > 机器学习。
- 选择
图标并从下拉菜单中选择一个数据源。将显示与所选数据源关联的模型列表。
- 选择列出模型右侧的
图标,以查看所选数据源的模型配置详细信息。
以下 GIF 演示了这些步骤。
通知
当您设置 data_source.enabled:true
时,您可以查看和管理不同数据源的通知通道。
- 在主菜单下导航到 管理 > 通知。
- 选择
图标并从下拉菜单中选择一个数据源。将显示与所选数据源关联的通道列表。
- 从列表中选择一个通道以查看或管理其设置。
- 通过选择 操作 按钮并选择 编辑 选项来编辑通道的设置。在 编辑通道 面板中输入所需信息,然后选择 保存。
- 通过在 编辑通道 窗口中选择 发送测试消息 按钮向通道发送测试消息。或者,您可以在通道详细信息窗口中选择 操作 按钮,然后从下拉菜单中选择 发送测试消息 选项。
以下 GIF 演示了这些步骤。
搜索相关性
当您设置 data_source.enabled:true
时,您可以比较来自不同数据源的索引的搜索结果。
- 在主菜单下导航到 OpenSearch 插件 > 搜索相关性。
- 选择
图标并从下拉菜单中选择一个数据源。将显示可用数据源的列表。
- 在 查询 1 和 查询 2 下,选择一个数据源和一个索引。
- 选择 搜索 按钮以运行查询。查询结果将显示在各自的结果面板中。
以下 GIF 演示了这些步骤。
安全分析
2.15 版引入
当您设置 data_source.enabled:true
时,您可以查看和管理多个已连接数据源中的安全分析资源,例如检测规则。
- 在主菜单下导航到 OpenSearch 插件 > 安全分析。
- 选择
图标并从下拉菜单中选择一个数据源。
- 从左侧导航菜单中选择 检测器 > 检测规则。将显示检测规则列表。
- 选择一个规则以打开一个包含该规则更多信息的弹出窗口。
以下 GIF 演示了这些步骤。
- 在主菜单下导航到 OpenSearch 插件 > 安全分析。
- 选择
图标并从下拉菜单中选择一个数据源。
- 从左侧导航菜单中选择 检测器 > 检测规则。
- 选择右上角的 创建检测规则 按钮,然后在 创建检测规则 窗口中输入所需的配置详细信息。
- 选择右下角的 创建检测规则 按钮以保存规则。该规则现在与数据源关联。
以下 GIF 演示了这些步骤。
告警
2.15 版引入
当您设置 data_source.enabled:true
时,您可以查看和管理多个已连接数据源中的告警监视器。
- 在主菜单下导航到 OpenSearch 插件 > 告警。
- 选择
图标并从下拉菜单中选择一个数据源。将显示相关监视器的列表。
- 选择一个监视器以查看其详细信息。
以下 GIF 演示了这些步骤。
要创建新监视器,请选择 创建监视器。填写表单并选择 创建。监视器将在所选数据源中创建。
从 Dashboards 应用程序内部管理告警监视器
要从 Dashboards 内部管理数据源监视器:
- 导航到主菜单下的 Dashboards 应用程序,然后从列表中选择一个仪表板。
- 在仪表板中,选择
图标以打开 选项 下拉菜单,然后选择 告警。
- 从 告警 下拉菜单中,选择 关联监视器 以打开配置窗口。
- 从列表中选择一个监视器以查看或编辑其详细信息。
以下 GIF 演示了这些步骤。
将监视器与数据源关联
- 导航到主菜单下的 Dashboards 应用程序,然后从列表中选择一个仪表板。
- 在仪表板中,选择
图标以打开 选项 下拉菜单,然后选择 告警。
- 从 告警 下拉菜单中,选择 添加告警监视器 以打开配置窗口。
- 输入配置信息,然后选择 创建监视器 按钮。监视器现在与数据源关联。
以下 GIF 演示了这些步骤。
后续步骤
配置多个数据源后,您可以分析来自每个源的数据。有关更多信息,请参阅以下资源: