Link Search Menu Expand Document Documentation Menu
文档

指纹处理器

2.16 版本引入

fingerprint 处理器用于为文档中特定字段或所有字段生成哈希值。该哈希值可用于索引内文档去重和折叠搜索结果。

对于每个字段，字段名、字段值的长度和字段值本身会被连接起来，并用管道符 | 分隔。例如，如果字段名为 field1，值为 value1，则连接后的字符串将是 |field1|3:value1|field2|10:value2|。对于对象字段，字段名通过用点 . 连接嵌套字段名来扁平化。例如，如果对象字段是 root_field，其中子字段 sub_field1 的值为 value1，另一个子字段 sub_field2 的值为 value2，则连接后的字符串将是 |root_field.sub_field1|1:value1|root_field.sub_field2|100:value2|。

以下是 fingerprint 处理器的语法

{
  "community_id": {
    "fields": ["foo", "bar"],
    "target_field": "fingerprint",
    "hash_method": "SHA-1@2.16.0"
  }
}

配置参数

下表列出了 fingerprint 处理器的必需参数和可选参数。

参数 必需/可选 描述
fields 可选 用于生成哈希值的字段列表。
exclude_fields 可选 指定从哈希值生成中排除的字段。它与 fields 参数互斥；如果 exclude_fields 和 fields 都为空或为 null，则所有字段都将包含在哈希值计算中。
hash_method 可选 指定要使用的哈希算法，可选值包括 MD5@2.16.0、SHA-1@2.16.0、SHA-256@2.16.0 或 SHA3-256@2.16.0。默认为 SHA-1@2.16.0。版本号附加在后，以确保 OpenSearch 各版本之间哈希的一致性，新版本将支持新的哈希方法。
target_field 可选 指定用于存储生成哈希值的字段名称。如果未提供，则哈希值默认存储在 fingerprint 字段中。
ignore_missing 可选 指定如果缺少某个必需字段时处理器是否应静默退出。默认为 false。
description 可选 处理器的简要描述。
if 可选 运行处理器的条件。
ignore_failure 可选 如果设置为 true，则忽略失败。默认为 false。
on_failure 可选 处理器失败时要运行的处理器列表。
tag 可选 处理器的标识符标签。有助于调试以区分相同类型的处理器。

使用处理器

按照以下步骤在管道中使用处理器。

步骤 1：创建管道

以下查询创建了一个名为 fingerprint_pipeline 的管道，该管道使用 fingerprint 处理器为文档中指定字段生成哈希值

PUT /_ingest/pipeline/fingerprint_pipeline
{
  "description": "generate hash value for some specified fields the document",
  "processors": [
    {
      "fingerprint": {
        "fields": ["foo", "bar"]
     }
    }
  ]
}

步骤 2（可选）：测试管道

建议您在摄入文档之前测试您的管道。

要测试管道，请运行以下查询

POST _ingest/pipeline/fingerprint_pipeline/_simulate
{
  "docs": [
    {
      "_index": "testindex1",
      "_id": "1",
      "_source": {
        "foo": "foo",
        "bar": "bar"
      }
    }
  ]
}

响应

以下示例响应确认管道按预期工作

{
  "docs": [
    {
      "doc": {
        "_index": "testindex1",
        "_id": "1",
        "_source": {
          "foo": "foo",
          "bar": "bar",
          "fingerprint": "SHA-1@2.16.0:fYeen7hTJ2zs9lpmUnk6nvH54sM="
        },
        "_ingest": {
          "timestamp": "2024-03-11T02:17:22.329823Z"
        }
      }
    }
  ]
}

步骤 3：摄取文档

以下查询将文档摄取到名为 testindex1 的索引中

PUT testindex1/_doc/1?pipeline=fingerprint_pipeline
{
  "foo": "foo",
  "bar": "bar"
}

响应

该请求将文档索引到 testindex1 索引中

{
  "_index": "testindex1",
  "_id": "1",
  "_version": 1,
  "result": "created",
  "_shards": {
    "total": 2,
    "successful": 1,
    "failed": 0
  },
  "_seq_no": 0,
  "_primary_term": 1
}

步骤 4（可选）：检索文档

要检索文档，请运行以下查询

GET testindex1/_doc/1

剩余 350 字符

有问题？。

想做贡献？ 或 。