发布事件到 NSQ
为 MinIO 部署添加 NSQ 端点
以下过程添加了一个新的NSQ服务端点以提供支持存储桶通知在 MinIO 部署中。
前提条件
MinIOmc命令行工具
1) 将 NSQ 端点添加到 MinIO
您可以使用环境变量配置新的 NSQ 服务端点or通过设置运行时配置设置。
MinIO支持通过指定NSQ服务端点及相关配置设置来使用环境变量. Theminio server进程将在下次启动时应用指定的设置。
以下示例代码设置全部environment variables
与配置 NSQ 服务端点相关。最低必需变量是MINIO_NOTIFY_NSQ_NSQD_ADDRESS和MINIO_NOTIFY_NSQ_TOPIC:
export MINIO_NOTIFY_NSQ_ENABLE_<IDENTIFIER>="on"
export MINIO_NOTIFY_NSQ_NSQD_ADDRESS_<IDENTIFIER>="<ENDPOINT>"
export MINIO_NOTIFY_NSQ_TOPIC_<IDENTIFIER>="<string>"
export MINIO_NOTIFY_NSQ_TLS_<IDENTIFIER>="<string>"
export MINIO_NOTIFY_NSQ_TLS_SKIP_VERIFY_<IDENTIFIER>="<string>"
export MINIO_NOTIFY_NSQ_QUEUE_DIR_<IDENTIFIER>="<string>"
export MINIO_NOTIFY_NSQ_QUEUE_LIMIT_<IDENTIFIER>="<string>"
export MINIO_NOTIFY_NSQ_COMMENT_<IDENTIFIER>="<string>"
替换
<IDENTIFIER>使用唯一的描述性字符串作为 TARGET 服务端点。使用相同的<IDENTIFIER>所有与新目标服务端点相关的环境变量的值。 以下示例假设标识符为PRIMARY.如果指定的
<IDENTIFIER>匹配 MinIO 部署上的现有 NSQ 服务 端点,新设置覆盖该端点的任何现有设置。使用mc admin config get notify_nsq审查 MinIO 部署中当前配置的 NSQ 端点。替换
<ENDPOINT>使用 NSQ 服务端点的 URL。 例如,https://nsq-service.example.com:4150.
看NSQ Service for Bucket Notifications有关每个环境变量的完整文档。
MinIO 支持在运行状态下添加或更新 NSQ 端点minio server使用该过程mc admin config set命令
和notify_nsq配置键。您必须重启minio server应用任何新的或更新的配置设置的过程。
以下示例代码设置全部与配置 NSQ 服务端点相关的设置。最低必需设置是notify_nsq nsqd_address和notify_nsq topic:
mc admin config set ALIAS/ notify_nsq:IDENTIFIER \
nsqd_address="ENDPOINT" \
topic="<string>" \
tls="<string>" \
tls_skip_verify="<string>" \
queue_dir="<string>" \
queue_limit="<string>" \
comment="<string>"
替换
IDENTIFIER使用一个唯一的描述性字符串来标识 NSQ 服务端点。本过程中的以下示例 假设标识符为PRIMARY.如果指定的
IDENTIFIER匹配 MinIO 部署上的现有 NSQ 服务 端点,新设置覆盖该端点的任何现有设置。使用mc admin config get notify_nsq审查 MinIO 部署中当前配置的 NSQ 端点。替换
ENDPOINT使用 NSQ 服务端点的 URL。 例如:NSQ://user:password@hostname:port
看NSQ 存储桶通知配置设置有关每个设置的完整文档。
1) 重启 MinIO 部署
您必须重启 MinIO 部署以使配置更改生效。
使用mc admin service restart重启部署的命令。
mc admin service restart ALIAS
替换ALIAS随着别名部署的重新启动。
Theminio serverprocess prints a line on startup for each configured NSQ
target similar to the following:
SQS ARNs: |ARN|
在配置存储桶通知并将关联的NSQ部署设为目标时,必须指定ARN资源。
识别您的存储桶通知的ARN
你定义了<IDENTIFIER>在先前创建端点时分配给您的存储桶通知的目标ARN。
以下步骤返回在部署上配置的ARN。
通过查找先前创建的ARN来识别它。<IDENTIFIER>您指定的。
审查 JSON 输出
复制并运行以下命令,将
ALIAS随着别名部署的。mc admin info --json ALIAS
在 JSON 输出中,查找键
info.sqsARN.您需要的ARN是与该键匹配的值
<IDENTIFIER>您指定的。例如,
arn:minio:sqs::primary:nsq.
使用 jq 解析 JSON 获取值
3) 使用 NSQ 端点作为目标配置存储桶通知
使用mc event add添加新存储桶通知事件的命令,将已配置的 NSQ 服务设为目标:
mc event add ALIAS/BUCKET arn:minio:sqs::primary:nsq \
--event EVENTS
使用mc event ls要查看给定通知目标的所有已配置存储桶事件:
mc event ls ALIAS/BUCKET arn:minio:sqs::primary:nsq
4) 验证已配置的事件
对您配置了新事件的存储桶执行操作,并检查NSQ服务中的通知数据。
所需操作取决于您events在配置存储桶通知时已指定。
例如,如果存储桶通知配置包含s3:ObjectCreated:Put事件,您可以使用mc cp在存储桶中创建新对象并触发通知的命令。
mc cp ~/data/new-object.txt ALIAS/BUCKET
更新 MinIO 部署中的 NSQ 端点
以下过程更新现有的 NSQ 服务端点以提供支持存储桶通知在 MinIO 部署中。
前提条件
MinIOmc命令行工具
1) 列出部署中已配置的 NSQ 端点
使用mc admin config get列出部署中当前配置的 NSQ 服务端点的命令:
mc admin config get ALIAS/ notify_nsq
替换ALIAS随着别名MinIO 部署的。
命令输出类似于以下内容:
notify_nsq:primary nsqd_address="https://nsq.example.com" queue_dir="" queue_limit="0" tls="off" tls_skip_verify="off" topic=""
notify_nsq:secondary nsqd_address="https://nsq.example.com" queue_dir="" queue_limit="0" tls="off" tls_skip_verify="off" topic=""
Thenotify_nsqkey 是用于配置NSQ 通知设置.nsqd_addresskey 指定给定服务的 NSQ 服务端点notify_nsqkey.
Thenotify_nsq:<IDENTIFIER>suffix 描述了该 NSQ 服务端点的唯一标识符。
记下您想要更新的 NSQ 服务端点的标识符,以便进行下一步操作。
2) 更新 NSQ 端点
使用mc admin config set设置 NSQ 服务端点新配置的命令:
mc admin config set ALIAS/ notify_nsq:<IDENTIFIER> \
nsqd_address="NSQ://user:password@hostname:port" \
topic="<string>" \
tls="<string>" \
tls_skip_verify="<string>" \
queue_dir="<string>" \
queue_limit="<string>" \
comment="<string>"
Thenotify_nsq nsqd_address配置设置是最小值NSQ 服务端点所需。
所有其他配置设置均为可选的.NSQ 通知设置有关 NSQ 配置设置的完整列表。
3) 重启 MinIO 部署
您必须重启 MinIO 部署以使配置更改生效。
使用mc admin service restart重启部署的命令。
mc admin service restart ALIAS
替换ALIAS随着别名部署的重启。
Theminio server进程在启动时会为每个已配置的 NSQ 目标打印一行信息,类似于以下内容:
SQS ARNs: arn:minio:sqs::primary:NSQ
4) 验证更改
对已配置事件的存储桶执行操作,使用更新后的NSQ服务端点,并检查NSQ服务中的通知数据。
所需操作取决于具体events在配置存储桶通知时已指定。
例如,如果存储桶通知配置包含s3:ObjectCreated:Put事件,您可以使用mc cp在存储桶中创建新对象并触发通知的命令。
mc cp ~/data/new-object.txt ALIAS/BUCKET