发布事件到 Elasticsearch
MinIO 支持发布存储桶通知事件到Elasticsearch服务端点。
MinIO 依赖于https://github.com/elastic/go-elasticsearchv7 项目用于 Elastic 连接性。
为 MinIO 部署添加 Elasticsearch 端点
以下过程添加了一个新的 Elasticsearch 服务端点以支持存储桶通知在 MinIO 部署中。
前提条件
Elasticsearch v7.0 及更高版本
MinIO 依赖于https://github.com/olivere/elasticv7 项目用于 Elastic
连接性。elastic/v7library specifically targets Elasticsearch
v7.0 and is与早期 Elasticsearch 版本不兼容.
MinIOmc命令行工具
1) 将 Elasticsearch 端点添加到 MinIO
您可以使用环境变量配置新的 Elasticsearch 服务端点or通过设置运行时配置设置。
MinIO支持使用以下方式指定Elasticsearch服务端点及相关配置设置：环境变量. Theminio server进程将在下次启动时应用指定的设置。
以下示例代码设置全部环境变量 与配置 Elasticsearch 服务端点相关。最低必需variables are:
export MINIO_NOTIFY_ELASTICSEARCH_ENABLE_<IDENTIFIER>="on"
export MINIO_NOTIFY_ELASTICSEARCH_URL_<IDENTIFIER>="<ENDPOINT>"
export MINIO_NOTIFY_ELASTICSEARCH_INDEX_<IDENTIFIER>="<string>"
export MINIO_NOTIFY_ELASTICSEARCH_FORMAT_<IDENTIFIER>="<string>"
export MINIO_NOTIFY_ELASTICSEARCH_USERNAME_<IDENTIFIER>="<string>"
export MINIO_NOTIFY_ELASTICSEARCH_PASSWORD_<IDENTIFIER>="<string>"
export MINIO_NOTIFY_ELASTICSEARCH_QUEUE_DIR_<IDENTIFIER>="<string>"
export MINIO_NOTIFY_ELASTICSEARCH_QUEUE_LIMIT_<IDENTIFIER>="<string>"
export MINIO_NOTIFY_ELASTICSEARCH_COMMENT_<IDENTIFIER>="<string>"
替换
<IDENTIFIER>使用唯一的描述性字符串作为 TARGET 服务端点。使用相同的<IDENTIFIER>所有与新目标服务端点相关的环境变量的值。 以下示例假设标识符为PRIMARY.如果指定的
<IDENTIFIER>匹配 MinIO 部署上现有的 Elasticsearch 服务端点，新设置覆盖该端点的任何现有设置。使用mc admin config get notify_elasticsearch要查看 MinIO 部署中当前配置的 Elasticsearch 端点。替换
<ENDPOINT>使用 Elasticsearch 服务端点的 URL。 例如：
看Elasticsearch Service for Bucket Notifications有关每个环境变量的完整文档。
MinIO 支持在运行状态下添加或更新 Elasticsearch 端点minio server使用该过程mc admin config set命令
和notify_elasticsearch配置键。您必须重启minio server应用任何新的或更新的配置设置的过程。
以下示例代码设置全部与配置 Elasticsearch 服务端点相关的设置。最低必需设置是：
mc admin config set ALIAS/ notify_elasticsearch:IDENTIFIER \
url="ENDPOINT" \
index="<string>" \
format="<string>" \
username="<string>" \
password="<string>" \
queue_dir="<string>" \
queue_limit="<string>" \
comment="<string>"
替换
IDENTIFIER使用唯一的描述性字符串来标识 Elasticsearch 服务端点。本过程中的以下示例 假设标识符为PRIMARY.如果指定的
IDENTIFIER匹配 MinIO 部署上现有的 Elasticsearch 服务端点，新的设置覆盖该端点的任何现有设置。使用mc admin config get notify_elasticsearch要查看 MinIO 部署中当前配置的 Elasticsearch 端点。替换
ENDPOINT使用 Elasticsearch 服务端点的 URL。 例如：https://user:password@hostname:port
看Elasticsearch 桶通知配置设置有关每个设置的完整文档。
1) 重启 MinIO 部署
您必须重启 MinIO 部署以使配置更改生效。
使用mc admin service restart重启部署的命令。
mc admin service restart ALIAS
替换ALIAS随着别名部署的重新启动。
Theminio serverprocess 在启动时会为每个已配置的 Elasticsearch 目标打印一行信息，类似于以下内容：
SQS ARNs: arn:minio:sqs::primary:elasticsearch
在配置存储桶通知并将关联的 Elasticsearch 部署设为目标时，必须指定 ARN 资源。
识别您的存储桶通知的ARN
你定义了<IDENTIFIER>在先前创建端点时分配给您的存储桶通知的目标ARN。
以下步骤返回在部署上配置的ARN。
通过查找先前创建的ARN来识别它。<IDENTIFIER>您指定的。
审查 JSON 输出
复制并运行以下命令，将
ALIAS随着别名部署的。mc admin info --json ALIAS
在 JSON 输出中，查找键
info.sqsARN.您需要的ARN是与该键匹配的值
<IDENTIFIER>您指定的。例如，
arn:minio:sqs::primary:elasticsearch.
使用 jq 解析 JSON 获取值
3) 使用 Elasticsearch 终端节点作为目标配置存储桶通知
使用mc event add添加新存储桶通知事件的命令，将配置的 Elasticsearch 服务设为目标：
mc event add ALIAS/BUCKET arn:minio:sqs::primary:elasticsearch \
--event EVENTS
使用mc event ls要查看为给定通知目标配置的所有存储桶事件：
mc event ls ALIAS/BUCKET arn:minio:sqs::primary:elasticsearch
4) 验证已配置的事件
对配置了新事件的存储桶执行操作，并
检查 Elasticsearch 服务中的通知数据。所需操作
取决于您为哪个events在配置存储桶通知时已指定。
例如，如果存储桶通知配置包含s3:ObjectCreated:Put事件，您可以使用mc cp在存储桶中创建新对象并触发通知的命令。
mc cp ~/data/new-object.txt ALIAS/BUCKET
更新 MinIO 部署中的 Elasticsearch 端点
以下过程更新现有的 Elasticsearch 服务端点以提供支持存储桶通知在 MinIO 部署中。
前提条件
Elasticsearch v7.0 及更高版本
MinIO 依赖于https://github.com/olivere/elasticv7 项目用于 Elastic
连接性。elastic/v7library specifically targets Elasticsearch
v7.0 and is与早期 Elasticsearch 版本不兼容.
MinIOmc命令行工具
1) 列出部署中已配置的 Elasticsearch 端点
使用mc admin config get列出部署中当前配置的 Elasticsearch 服务端点的命令：
mc admin config get ALIAS/ notify_elasticsearch
替换ALIAS随着别名MinIO 部署的。
命令输出类似于以下内容：
notify_elasticsearch:primary queue_dir="" queue_limit="0" url="https://user:password@hostname:port" format="namespace" index=""
notify_elasticsearch:secondary queue_dir="" queue_limit="0" url="https://user:password@hostname:port" format="namespace" index=""
Thenotify_elasticsearchkey 是用于配置的顶级配置键Elasticsearch 通知设置. Theurlkey 指定给定 Elasticsearch 服务的端点notify_elasticsearchkey. Thenotify_elasticsearch:<IDENTIFIER>suffix 描述了该 Elasticsearch 服务端点的唯一标识符。
请记下您要为下一步更新的 Elasticsearch 服务端点的标识符。
2) 更新 Elasticsearch 端点
使用mc admin config set设置 Elasticsearch 服务端点新配置的命令：
mc admin config set ALIAS/ notify_elasticsearch:<IDENTIFIER> \
url="https://user:password@hostname:port" \
index="<string>" \
format="<string>" \
username="<string>" \
password="<string>" \
queue_dir="<string>" \
queue_limit="<string>" \
comment="<string>"
Thenotify_elasticsearch urlconfiguration
setting is the最小值Elasticsearch 服务端点所必需的。所有
其他配置设置均为可选的. 查看Elasticsearch 通知设置有关 Elasticsearch 配置设置的完整列表，
3) 重启 MinIO 部署
您必须重启 MinIO 部署以使配置更改生效。
使用mc admin service restart重启部署的命令。
mc admin service restart ALIAS
替换ALIAS随着别名部署的重新启动。
Theminio server进程在启动时会为每个已配置的 Elasticsearch 目标打印一行信息，类似于以下内容：
SQS ARNs: arn:minio:sqs::primary:elasticsearch
4) 验证更改
对配置了事件通知的存储桶执行操作，使用更新后的
Elasticsearch服务端点，并在Elasticsearch服务中检查
通知数据。所需操作取决于具体events在配置存储桶通知时已指定。
例如，如果存储桶通知配置包含s3:ObjectCreated:Put事件，您可以使用mc cp在存储桶中创建新对象并触发通知的命令。
mc cp ~/data/new-object.txt ALIAS/BUCKET
