向量量化
默认情况下,OpenSearch 支持对 float
类型向量的索引和查询,其中向量的每个维度占用 4 字节内存。对于需要大规模摄取的使用场景,保留 float
向量可能成本高昂,因为 OpenSearch 需要构建、加载、保存和搜索图(对于原生的 faiss
和 nmslib
[已弃用] 引擎)。为了减少内存占用,你可以使用向量量化。
OpenSearch 支持多种量化方式。通常,量化级别将在最近邻搜索的准确性与向量搜索所消耗的内存占用大小之间提供权衡。
在 OpenSearch 外部量化向量
在将向量摄取到 OpenSearch 索引之前,在 OpenSearch 外部对其进行量化。
在 OpenSearch 内部量化向量
使用 OpenSearch 内置量化功能对向量进行量化。