在另一个账户中使用 Amazon Bedrock Titan 的语义搜索

从 OpenSearch 2.15 版开始，您必须为托管在与托管 Amazon OpenSearch Service 的账户不同的账户中的 Amazon Bedrock 模型配置连接器。本教程将向您展示如何在 Amazon OpenSearch Service 中使用托管在另一个账户中的 Amazon Bedrock Titan 嵌入模型实现语义搜索。有关更多信息，请参阅语义搜索。

Amazon Bedrock 有一个配额限制。有关增加此限制的更多信息，请参阅通过 Amazon Bedrock 中的预配置吞吐量增加模型调用容量。

将以 your_ 为前缀的占位符替换为您自己的值。

概述

在本教程中，您将使用两个 AWS 账户：账户 A（托管 Amazon OpenSearch Service）和账户 B（托管 Amazon Bedrock 模型）。

要调用托管在与托管 Amazon OpenSearch Service 的账户不同的账户中的模型，您必须在连接器凭证中配置两个角色

roleArn：账户 A 中用于代入账户 B 中外部账户角色的角色。
externalAccountRoleArn：账户 B 中用于调用 Amazon Bedrock 模型的角色。

在本教程中，您将使用以下角色名称

账户 A：my_cross_account_role_accountA

Amazon 资源名称 (ARN)：arn:aws:iam::<your_aws_account_A>:role/my_cross_account_role_accountA
账户 B：my_invoke_bedrock_role_accountB

ARN：arn:aws:iam::<your_aws_account_B>:role/my_invoke_bedrock_role_accountB

先决条件：创建 OpenSearch 集群

前往 Amazon OpenSearch Service 控制台并创建一个 OpenSearch 域。

请注意域 ARN；您将在以下步骤中使用它。

步骤 1：在账户 B 中创建 IAM 角色

要调用 Amazon Bedrock 上的模型，您必须创建具有适当权限的 AWS Identity and Access Management (IAM) 角色。连接器将使用此角色调用模型。

前往 IAM 控制台，创建名为 my_invoke_bedrock_role_accountB 的新 IAM 角色，并添加以下信任策略和权限

自定义信任策略

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "",
            "Effect": "Allow",
            "Principal": {
                "AWS": "arn:aws:iam::<your_aws_account_A>:role/my_cross_account_role_accountA"
            },
            "Action": "sts:AssumeRole"
        }
    ]
}

权限

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Action": [
                "bedrock:InvokeModel"
            ],
            "Effect": "Allow",
            "Resource": "arn:aws:bedrock:*::foundation-model/amazon.titan-embed-text-v1"
        }
    ]
}

记下角色 ARN；您将在后续步骤中使用它。

2. 在账户 A 中创建 IAM 角色

按照以下步骤在 Amazon OpenSearch Service 中配置 IAM 角色。

步骤 2.1：为代入 externalAccountRoleArn 创建 IAM 角色

为在账户 B 中代入 externalAccountRoleArn 创建 IAM 角色。

前往 IAM 控制台，创建名为 my_cross_account_role_accountA 的新 IAM 角色，并添加以下信任策略和权限

自定义信任策略

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {
                "Service": "es.amazonaws.com"
            },
            "Action": "sts:AssumeRole"
        }
    ]
}

权限

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": "sts:AssumeRole",
            "Resource": "arn:aws:iam::<your_aws_account_B>:role/my_invoke_bedrock_role_accountB"
        }
    ]
}

记下角色 ARN；您将在后续步骤中使用它。

步骤 2.2：为签名连接器请求创建 IAM 角色

专门为签署您的创建连接器 API 请求生成一个新的 IAM 角色。

创建一个名为 my_create_connector_role_accountA 的 IAM 角色，并添加以下信任策略和权限

自定义信任策略

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {
                "AWS": "your_iam_user_arn"
            },
            "Action": "sts:AssumeRole"
        }
    ]
}

您将在步骤 3.1 中使用 your_iam_user_arn IAM 用户来承担此角色。

权限

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": "iam:PassRole",
            "Resource": "arn:aws:iam::<your_aws_account_A>:role/my_cross_account_role_accountA"
        },
        {
            "Effect": "Allow",
            "Action": "es:ESHttpPost",
            "Resource": "your_opensearch_domain_arn_created"
        }
    ]
}

记下此角色 ARN；您将在后续步骤中使用它。

步骤 2.3：映射后端角色

按照以下步骤映射后端角色

登录 OpenSearch Dashboards，并在顶部菜单中选择 Security（安全）。
选择 Roles（角色），然后选择 ml_full_access 角色。
在 ml_full_access 角色详情页面，选择 Mapped users（已映射用户），然后选择 Manage mapping（管理映射）。
在后端角色字段中输入在步骤 2.2 中创建的 IAM 角色 ARN (arn:aws:iam::<your_aws_account_A>:role/my_create_connector_role_accountA)，如下图所示。
选择 Map（映射）。

IAM 角色现已成功在您的 OpenSearch 集群中配置。

步骤 3：创建连接器

按照以下步骤为模型创建连接器。有关创建连接器的更多信息，请参阅连接器。

步骤 3.1：获取临时凭证

使用步骤 2.2 中指定的 IAM 用户的凭证代入角色

aws sts assume-role --role-arn arn:aws:iam::<your_aws_account_A>:role/my_create_connector_role_accountA --role-session-name your_session_name

从响应中复制临时凭证，并将其配置在 ~/.aws/credentials 中

[default]
AWS_ACCESS_KEY_ID=your_access_key_of_role_created_in_step2.2
AWS_SECRET_ACCESS_KEY=your_secret_key_of_role_created_in_step2.2
AWS_SESSION_TOKEN=your_session_token_of_role_created_in_step2.2

步骤 3.2：创建连接器

使用在 ~/.aws/credentials 中配置的临时凭证运行以下 Python 代码

import boto3
import requests 
from requests_aws4auth import AWS4Auth

host = 'your_amazon_opensearch_domain_endpoint_created'
region = 'your_amazon_opensearch_domain_region'
service = 'es'

credentials = boto3.Session().get_credentials()
awsauth = AWS4Auth(credentials.access_key, credentials.secret_key, region, service, session_token=credentials.token)

path = '/_plugins/_ml/connectors/_create'
url = host + path

bedrock_model_region='your_bedrock_model_region'
payload = {
  "name": "Amazon Bedrock Connector: titan embedding v1",
  "description": "The connector to bedrock Titan embedding model",
  "version": 1,
  "protocol": "aws_sigv4",
  "parameters": {
    "region": bedrock_model_region,
    "service_name": "bedrock"
  },
  "credential": {
    "roleArn": "arn:aws:iam::<your_aws_account_A>:role/my_cross_account_role_accountA",
    "externalAccountRoleArn": "arn:aws:iam::<your_aws_account_B>:role/my_invoke_bedrock_role_accountB"
  },
  "actions": [
    {
      "action_type": "predict",
      "method": "POST",
      "url": f"https://bedrock-runtime.{bedrock_model_region}.amazonaws.com/model/amazon.titan-embed-text-v1/invoke",
      "headers": {
        "content-type": "application/json",
        "x-amz-content-sha256": "required"
      },
      "request_body": "{ \"inputText\": \"${parameters.inputText}\" }",
      "pre_process_function": "connector.pre_process.bedrock.embedding",
      "post_process_function": "connector.post_process.bedrock.embedding"
    }
  ]
}

headers = {"Content-Type": "application/json"}

r = requests.post(url, auth=awsauth, json=payload, headers=headers)
print(r.text)

脚本将输出连接器 ID

{"connector_id":"N0qpQY0BOhavBOmfOCnw"}

记下连接器 ID；您将在下一步中使用它。

步骤 4：创建并测试模型

创建模型组

 POST /_plugins/_ml/model_groups/_register
 {
     "name": "Bedrock_embedding_model",
     "description": "Test model group for bedrock embedding model"
 }

响应包含模型组 ID

 {
   "model_group_id": "LxWiQY0BTaDH9c7t9xeE",
   "status": "CREATED"
 }

注册模型

 POST /_plugins/_ml/models/_register
 {
   "name": "bedrock titan embedding model v1",
   "function_name": "remote",
   "description": "test embedding model",
   "model_group_id": "LxWiQY0BTaDH9c7t9xeE",
   "connector_id": "N0qpQY0BOhavBOmfOCnw"
 }

响应包含模型 ID

 {
   "task_id": "O0q3QY0BOhavBOmf1SmL",
   "status": "CREATED",
   "model_id": "PEq3QY0BOhavBOmf1Sml"
 }

部署模型

 POST /_plugins/_ml/models/PEq3QY0BOhavBOmf1Sml/_deploy

响应包含部署操作的任务 ID

 {
   "task_id": "PUq4QY0BOhavBOmfBCkQ",
   "task_type": "DEPLOY_MODEL",
   "status": "COMPLETED"
 }

测试模型

 POST /_plugins/_ml/models/PEq3QY0BOhavBOmf1Sml/_predict
 {
   "parameters": {
     "inputText": "hello world"
   }
 }

响应包含模型生成的嵌入

 {
   "inference_results": [
     {
       "output": [
         {
           "name": "sentence_embedding",
           "data_type": "FLOAT32",
           "shape": [
             1536
           ],
           "data": [
             0.7265625,
             -0.0703125,
             0.34765625,
             ...]
         }
       ],
       "status_code": 200
     }
   ]
 }

步骤 5：配置语义搜索

按照以下步骤配置语义搜索。

步骤 5.1：创建摄取管道

首先，创建一个摄取管道，该管道使用 Amazon SageMaker 中的模型从输入文本创建嵌入

PUT /_ingest/pipeline/my_bedrock_embedding_pipeline
{
    "description": "text embedding pipeline",
    "processors": [
        {
            "text_embedding": {
                "model_id": "your_bedrock_embedding_model_id_created_in_step4",
                "field_map": {
                    "text": "text_knn"
                }
            }
        }
    ]
}

步骤 5.2：创建向量索引

接下来，创建一个用于存储输入文本和生成嵌入的向量索引

PUT my_index
{
  "settings": {
    "index": {
      "knn.space_type": "cosinesimil",
      "default_pipeline": "my_bedrock_embedding_pipeline",
      "knn": "true"
    }
  },
  "mappings": {
    "properties": {
      "text_knn": {
        "type": "knn_vector",
        "dimension": 1536
      }
    }
  }
}

步骤 5.3：摄取数据

将示例文档摄取到索引中

POST /my_index/_doc/1000001
{
    "text": "hello world."
}

步骤 5.4：搜索索引

运行向量搜索以从向量索引中检索文档

POST /my_index/_search
{
  "query": {
    "neural": {
      "text_knn": {
        "query_text": "hello",
        "model_id": "your_embedding_model_id_created_in_step4",
        "k": 100
      }
    }
  },
  "size": "1",
  "_source": ["text"]
}

先决条件：创建 OpenSearch 集群
步骤 1：在账户 B 中创建 IAM 角色
2. 在账户 A 中创建 IAM 角色
步骤 3：创建连接器
- 步骤 3.1：获取临时凭证
- 步骤 3.2：创建连接器
步骤 4：创建并测试模型
步骤 5：配置语义搜索

此页面有帮助吗？

✔ 是 ✖ 否

告诉我们原因

剩余 350 字符

有问题？在 OpenSearch 论坛上提问。

想做贡献？编辑此页面或创建问题。