方法和引擎

方法定义了用于在索引时组织向量数据并在搜索时对其进行搜索的算法，应用于近似 k-NN 搜索。

OpenSearch 支持以下方法

• 分层可导航小世界 (HNSW) 创建向量之间连接的分层图结构。有关该算法的更多信息，请参阅使用分层可导航小世界图进行高效稳健的近似最近邻搜索。
• 倒排文件索引 (IVF) 根据聚类将向量组织成桶，并在搜索期间仅搜索桶的子集。

引擎是实现这些方法的库。不同的引擎可以实现相同的方法，有时具有不同的优化或特性。例如，所有受支持的引擎都实现了 HNSW，每个引擎都有其自身的优势。

OpenSearch 支持以下引擎

• Lucene：原生搜索库，提供 HNSW 实现，具有高效的过滤功能
• Faiss（Facebook AI 相似性搜索）：一个全面的库，实现了 HNSW 和 IVF 方法，并提供额外的向量压缩选项
• NMSLIB（非度量空间库）：HNSW 的旧版实现（现已弃用）

方法定义示例

方法定义包含以下组件

• 方法的name（例如，hnsw 或 ivf）
• 构建方法的space_type（例如，l2 或 cosinesimil）
• 将实现该方法的engine（例如，faiss 或 lucene）
• 特定于该实现的parameters映射

以下示例使用l2空间类型、faiss引擎和特定于方法的参数配置了hnsw方法

PUT test-index
{
  "settings": {
    "index": {
      "knn": true,
      "knn.algo_param.ef_search": 100
    }
  },
  "mappings": {
    "properties": {
      "my_vector1": {
        "type": "knn_vector",
        "dimension": 1024,
        "method": {
          "name": "hnsw",
          "space_type": "l2",
          "engine": "faiss",
          "parameters": {
            "ef_construction": 128,
            "m": 24
          }
        }
      }
    }
  }
}

并非所有方法/引擎组合都支持所有空间。有关支持的空间列表，请参阅特定引擎的部分。

通用参数

以下参数适用于所有方法定义。

Lucene 引擎

Lucene 引擎直接在 Lucene 中提供了向量搜索的原生实现。它提供了高效的过滤功能，非常适合小型部署。

支持的方法

Lucene 引擎支持以下方法。

HNSW 参数

HNSW 方法支持以下参数。

Lucene HNSW 实现会忽略ef_search，并将其动态设置为搜索请求中“k”的值。因此，在使用 Lucene 引擎时，无需为ef_search配置设置。

在 OpenSearch 2.11 或更早版本中创建的索引仍将使用之前的ef_construction值（512）。

示例配置

"method": {
    "name": "hnsw",
    "engine": "lucene",
    "parameters": {
        "m": 2048,
        "ef_construction": 245
    }
}

Faiss 引擎

Faiss 引擎提供高级向量索引功能，支持多种方法和编码选项，以优化内存使用和搜索性能。

支持的方法

Faiss 引擎支持以下方法。

HNSW 参数

该hnsw方法支持以下参数。

在 OpenSearch 2.11 或更早版本中创建的索引仍将使用之前的ef_construction值（512）。

IVF 参数

IVF 方法支持以下参数。

有关这些参数的更多信息，请参阅 Faiss 文档。

IVF 训练要求

IVF 算法需要训练步骤。要创建使用 IVF 的索引，您需要使用训练 API训练模型，并传入 IVF 方法定义。IVF 最低要求有nlist个训练数据点，但我们建议您使用更多。训练数据可以与您计划索引的数据相同，也可以来自单独的数据集。

支持的编码器

您可以使用编码器来减少向量索引的内存占用，但会牺牲搜索准确性。

OpenSearch 目前支持 Faiss 库中的以下编码器。

PQ 参数

pq编码器支持以下参数。

hnsw方法支持 OpenSearch 2.10 及更高版本中的pq编码器。hnsw方法的pq编码器的code_size参数必须为 8。

SQ 参数

sq编码器支持以下参数。

有关更多信息和示例，请参阅使用 Faiss 标量量化。

SIMD 优化

从 2.13 版本开始，如果底层硬件支持 SIMD 指令（x64 架构上的 AVX2 和 ARM64 架构上的 Neon），OpenSearch 将支持单指令多数据（SIMD）处理。SIMD 默认仅在 Linux 机器上为 Faiss 引擎支持。SIMD 架构通过提高索引吞吐量和降低搜索延迟来帮助提升整体性能。从 2.18 版本开始，OpenSearch 在 x64 架构上支持 AVX-512 SIMD 指令。从 2.19 版本开始，OpenSearch 在 x64 架构上支持 Intel Sapphire Rapids 或更新一代处理器的更高级 AVX-512 SIMD 指令，从而提高汉明距离计算的性能。

SIMD 优化仅适用于向量维度是 8 的倍数的情况。

x64 架构

对于 x64 架构，以下版本的 Faiss 库与工件一起构建和发布

• libopensearchknn_faiss_avx512_spr.so：包含用于新一代处理器的更高级 AVX-512 SIMD 指令的 Faiss 库，可在 AWS 等公共云上的 c/m/r 7i 或更新实例上使用。
• libopensearchknn_faiss_avx512.so：包含 AVX-512 SIMD 指令的 Faiss 库。
• libopensearchknn_faiss_avx2.so：包含 AVX2 SIMD 指令的 Faiss 库。
• libopensearchknn_faiss.so：未经优化的 Faiss 库，不含 SIMD 指令。

使用 Faiss 库时，性能排名如下：高级 AVX-512 > AVX-512 > AVX2 > 无优化。

如果您的硬件支持高级 AVX-512(spr)，OpenSearch 会在运行时加载libopensearchknn_faiss_avx512_spr.so库。

如果您的硬件支持 AVX-512，OpenSearch 会在运行时加载libopensearchknn_faiss_avx512.so库。

如果您的硬件支持 AVX2 但不支持 AVX-512，OpenSearch 会在运行时加载libopensearchknn_faiss_avx2.so库。

要禁用高级 AVX-512（适用于 Sapphire Rapids 或更新一代处理器）、AVX-512 和 AVX2 SIMD 指令并加载非优化 Faiss 库（libopensearchknn_faiss.so），请在opensearch.yml中将knn.faiss.avx512_spr.disabled、knn.faiss.avx512.disabled和knn.faiss.avx2.disabled静态设置指定为true（默认情况下，所有这些都设置为false）。

请注意，要更新静态设置，您必须停止集群，更改设置，然后重新启动集群。有关更多信息，请参阅静态设置。

ARM64 架构

对于 ARM64 架构，仅构建并发布了一个性能提升的 Faiss 库（libopensearchknn_faiss.so）。该库包含 Neon SIMD 指令，无法禁用。

配置示例

以下示例使用ivf方法，未指定编码器（默认情况下，OpenSearch 使用flat编码器）

"method": {
  "name":"ivf",
  "engine":"faiss",
  "parameters":{
    "nlist": 4,
    "nprobes": 2
  }
}

以下示例使用带有pq编码器的ivf方法

"method": {
  "name":"ivf",
  "engine":"faiss",
  "parameters":{
    "encoder":{
      "name":"pq",
      "parameters":{
        "code_size": 8,
        "m": 8
      }
    }
  }
}

以下示例使用hnsw方法，未指定编码器（默认情况下，OpenSearch 使用flat编码器）

"method": {
  "name":"hnsw",
  "engine":"faiss",
  "parameters":{
    "ef_construction": 256,
    "m": 8
  }
}

以下示例使用带有类型为fp16的sq编码器的ivf方法

"method": {
  "name":"ivf",
  "engine":"faiss",
  "parameters":{
    "encoder": {
      "name": "sq",
      "parameters": {
        "type": "fp16",
        "clip": false
      }
    },
    "nprobes": 2
  }
}

以下示例使用带有类型为fp16并启用clip的sq编码器的hnsw方法

"method": {
  "name":"hnsw",
  "engine":"faiss",
  "parameters":{
    "encoder": {
      "name": "sq",
      "parameters": {
        "type": "fp16",
        "clip": true
      }  
    },    
    "ef_construction": 256,
    "m": 8
  }
}

NMSLIB 引擎（已弃用）

非度量空间库（NMSLIB）引擎是 OpenSearch 中最早的向量搜索实现之一。虽然仍受支持，但已被弃用，取而代之的是 Faiss 和 Lucene 引擎。

支持的方法

NMSLIB 引擎支持以下方法。

HNSW 参数

HNSW 方法支持以下参数。

对于 NMSLIB（已弃用），ef_search 在索引设置中设置。

在 OpenSearch 2.11 或更早版本中创建的索引仍将使用之前的ef_construction值（512）。

示例配置

"method": {
    "name": "hnsw",
    "engine": "nmslib",
    "space_type": "l2",
    "parameters": {
        "ef_construction": 100,
        "m": 16
    }
}

选择正确的方法

构建knn_vector字段时有多种选项可供选择。要选择正确的方法和参数，您应首先了解工作负载的要求以及您愿意做出的权衡。需要考虑的因素是 (1) 查询延迟，(2) 查询质量，(3) 内存限制，以及 (4) 索引延迟。

如果内存不是问题，HNSW 提供了强大的查询延迟/查询质量权衡。

如果您希望与 HNSW 相比使用更少的内存并提高索引速度，同时保持相似的查询质量，则应评估 IVF。

如果内存是问题，请考虑为 HNSW 或 IVF 索引添加 PQ 编码器。由于 PQ 是一种有损编码，查询质量会下降。

通过使用fp_16编码器，您可以将内存占用减少 2 倍，同时搜索质量损失最小。如果您的向量维度在 [-128, 127] 字节范围内，我们建议使用字节量化器将内存占用减少 4 倍。要了解有关向量量化选项的更多信息，请参阅k-NN 向量量化。

引擎推荐

通常，大型用例选择 Faiss。Lucene 是小型部署的不错选择，并提供智能过滤等优势，可根据情况自动应用最佳过滤策略——预过滤、后过滤或精确 k-NN。下表总结了每个选项之间的差异。

内存估算

在典型的 OpenSearch 集群中，部分 RAM 会保留给 JVM 堆。OpenSearch 将本地库索引分配给剩余 RAM 的一部分。此部分的大小由circuit_breaker_limit集群设置决定。默认情况下，限制设置为 50%。

使用副本会使向量总数翻倍。

有关使用向量量化进行内存估算的信息，请参阅向量量化。

HNSW 内存估算

HNSW 所需内存估算为1.1 * (4 * dimension + 8 * m)字节/向量。

例如，假设您有 100 万个向量，dimension为 256，m为 16。内存需求可估算如下

1.1 * (4 * 256 + 8 * 16) * 1,000,000 ~= 1.267 GB

IVF 内存估算

IVF 所需内存估算为1.1 * (((4 * dimension) * num_vectors) + (4 * nlist * d))字节。

例如，假设您有 100 万个向量，dimension为256，nlist为128。内存需求可估算如下

1.1 * (((4 * 256) * 1,000,000) + (4 * 128 * 256))  ~= 1.126 GB

后续步骤

• 性能调优
• 优化向量存储
• 向量量化