配置 OpenSearch Benchmark

OpenSearch Benchmark 配置数据存储在 ~/.benchmark/benchmark.ini 中，该文件在 OpenSearch Benchmark 首次运行时自动创建。

该文件分为以下几个部分，您可以根据集群的需求进行自定义。

元数据

此部分包含有关配置文件的元信息。

系统

此部分包含当前基准测试环境的全局信息。此信息在所有安装了 OpenSearch Benchmark 的机器上都应相同。

节点

此部分包含可以根据集群需求自定义的节点特定信息。

源

此部分包含有关 OpenSearch 源代码树的更多详细信息。

基准测试

此部分包含可在 OpenSearch Benchmark 数据目录中自定义的设置。

结果发布

此部分定义了基准测试指标的存储方式。

datastore.type 参数

当 datastore.type 设置为 opensearch 时，可以自定义以下报告设置。

示例

您可以使用以下示例在集群中设置报告值。

此示例定义了本地网络中一个未受保护的指标存储

[results_publishing]
datastore.type = opensearch
datastore.host = 192.168.10.17
datastore.port = 9200
datastore.secure = false
datastore.user =
datastore.password =

此示例定义了与本地网络中带自签名证书的指标存储的安全连接

[results_publishing]
datastore.type = opensearch
datastore.host = 192.168.10.22
datastore.port = 9200
datastore.secure = true
datastore.ssl.verification_mode = none
datastore.user = user-name
datastore.password = the-password-to-your-cluster

工作负载

此部分定义了工作负载的检索方式。OpenSearch 使用 <<workload-repository-name>>.url 语法读取所有键，您可以使用 OpenSearch Benchmark CLI 的 --workload-repository=workload-repository-name" 选项进行选择。默认情况下，OpenSearch 使用 default.url https://github.com/opensearch-project/opensearch-benchmark-workloads 选择工作负载仓库。

默认值

此部分定义了某些 OpenSearch Benchmark CLI 参数的默认值。

发行版

此部分定义了 OpenSearch 版本的分布方式。

使用 AWS Signature Version 4 运行 OpenSearch Benchmark

OpenSearch Benchmark 支持 AWS Signature Version 4 身份验证。要使用 AWS Signature Version 4 运行 OpenSearch Benchmark，您需要设置一个 AWS Identity and Access Management (IAM) 用户或角色，并使用 AWS Signature Version 4 身份验证为其提供对 OpenSearch 集群的访问权限。

是使用 IAM 角色还是用户取决于您的测试集群的访问管理要求。有关是使用 IAM 角色还是用户的更多信息，请参阅 何时创建 IAM 用户（而不是角色）。

使用以下步骤设置 AWS Signature Version 4

1. 在 AWS Management Console 中创建 IAM 角色或用户。

2. 设置您的环境变量。如果您使用 Amazon OpenSearch Serverless 进行测试，请将 OSB_SERVICE 设置为 aoss。

   • 对于 IAM 用户，配置以下环境变量

   export OSB_AWS_ACCESS_KEY_ID=<IAM USER AWS ACCESS KEY ID>
   export OSB_AWS_SECRET_ACCESS_KEY=<IAM USER AWS SECRET ACCESS KEY>
   export OSB_REGION=<YOUR REGION>
   export OSB_SERVICE=es
   

   • 对于 IAM 角色，配置以下环境变量

   export OSB_AWS_ACCESS_KEY_ID=<IAM Role AWS ACCESS KEY ID>
   export OSB_AWS_SECRET_ACCESS_KEY=<IAM Role AWS SECRET ACCESS KEY>
   export OSB_AWS_SESSION_TOKEN=<IAM Role SESSION TOKEN>
   export OSB_REGION=<YOUR REGION>
   export OSB_SERVICE=es
   

3. 使用 --client-options=amazon_aws_log_in:environment 标志自定义并运行以下 execute-test 命令。此标志向 OpenSearch Benchmark 提供您的导出凭据的位置。

   opensearch-benchmark execute-test \
   --target-hosts=<CLUSTER ENDPOINT> \
   --pipeline=benchmark-only \
   --workload=geonames \
   --client-options=timeout:120,amazon_aws_log_in:environment \
   

代理配置

OpenSearch 会自动为您下载所有必要的代理数据，包括

• 指定 --distribution-version=<OPENSEARCH-VERSION> 时的 OpenSearch 发行版。
• 指定 Git 修订号时的 OpenSearch 源代码，例如 --revision=1e04b2w。
• 从 OpenSearch GitHub 仓库跟踪的任何元数据。

自 OpenSearch Benchmark 0.5.0 起，仅支持 http_proxy。

您可以使用 http_proxy 将 OpenSearch Benchmark 连接到特定代理，并将该代理连接到基准测试工作负载。要添加代理

1. 将您的代理 URL 添加到您的 shell 配置文件中

   export http_proxy=http://proxy.proxy.org:4444/
   

2. 源化您的 shell 配置文件并验证代理 URL 是否设置正确

   source ~/.bash_profile ; echo $http_proxy
   

3. 使用以下命令配置 Git 连接到您的代理。有关更多信息，请参阅 Git 文档。

   git config --global http_proxy $http_proxy
   

4. 使用 git clone 通过以下命令克隆工作负载仓库。如果代理配置正确，克隆将成功。

   git clone http://github.com/opensearch-project/opensearch-benchmark-workloads.git
   

5. 最后，通过检查 /.benchmark/logs/benchmark.log 日志来验证 OpenSearch Benchmark 是否可以连接到代理服务器。当 OpenSearch Benchmark 启动时，您应该在日志顶部看到以下内容

    Connecting via proxy URL [http://proxy.proxy.org:4444/] to the Internet (picked up from the environment variable [http_proxy]).
   

日志记录

OpenSearch Benchmark 的日志可以在 ~/.benchmark/logging.json 文件中配置。有关如何格式化日志文件的更多信息，请参阅以下 Python 文档

• 有关一般技巧和窍门，请使用 Python 日志记录指南。
• 有关文件格式，请参阅 Python 日志配置架构。
• 有关如何自定义日志输出写入位置的说明，请参阅 日志处理程序文档。

默认情况下，OpenSearch Benchmark 将所有输出记录到 ~/.benchmark/logs/benchmark.log。