本文档描述了如何在 OpenSearch 摄入管道中使用 lowercase
处理器。如果您的用例涉及大型或复杂数据集,请考虑使用在 OpenSearch 集群上运行的 Data Prepper lowercase_string
处理器。
小写处理器
lowercase
处理器将特定字段中的所有文本转换为小写字母。
语法
以下是 lowercase
处理器的语法
{
"lowercase": {
"field": "field_name"
}
}
配置参数
下表列出了 lowercase
处理器的必需和可选参数。
参数 | 必需 | 描述 |
---|---|---|
field | 必需 | 包含要转换数据的字段名称。支持模板代码段。 |
描述 | 可选 | 处理器的简要描述。 |
if | 可选 | 运行处理器的条件。 |
ignore_failure | 可选 | 指定即使处理器遇到错误是否继续执行。如果设置为 true ,则忽略失败。默认为 false 。 |
on_failure | 可选 | 处理器失败时要运行的处理器列表。 |
ignore_missing | 可选 | 指定处理器是否应忽略不包含指定字段的文档。如果设置为 true ,则如果字段不存在或为 null ,处理器不会修改文档。默认为 false 。 |
tag | 可选 | 处理器的标识符标签。有助于调试以区分相同类型的处理器。 |
target_field | 可选 | 用于存储解析数据的字段名称。默认为 field 。默认情况下,field 会在原地更新。 |
使用处理器
按照以下步骤在管道中使用处理器。
步骤 1:创建管道
以下查询创建了一个名为 lowercase-title
的管道,它使用 lowercase
处理器将文档的 title
字段转换为小写
PUT _ingest/pipeline/lowercase-title
{
"description" : "Pipeline that lowercases the title field",
"processors" : [
{
"lowercase" : {
"field" : "title"
}
}
]
}
步骤 2(可选):测试管道
建议在摄取文档之前测试您的管道。
要测试管道,请运行以下查询
POST _ingest/pipeline/lowercase-title/_simulate
{
"docs": [
{
"_index": "testindex1",
"_id": "1",
"_source": {
"title": "WAR AND PEACE"
}
}
]
}
响应
以下示例响应确认管道按预期工作
{
"docs": [
{
"doc": {
"_index": "testindex1",
"_id": "1",
"_source": {
"title": "war and peace"
},
"_ingest": {
"timestamp": "2023-08-22T17:39:39.872671834Z"
}
}
}
]
}
步骤 3:摄取文档
以下查询将文档摄取到名为 testindex1
的索引中
PUT testindex1/_doc/1?pipeline=lowercase-title
{
"title": "WAR AND PEACE"
}
步骤 4(可选):检索文档
要检索文档,请运行以下查询
GET testindex1/_doc/1