发布事件到 Kafka
MinIO 依赖于https://github.com/Shopify/saramaproject for Kafka connectivity
并共享该项目的Kafka支持。参见sarama 兼容性和API稳定性有关更多详细信息，请参阅 section。
为 MinIO 部署添加 Kafka 端点
以下过程添加一个新的Kafka服务端点以支持存储桶通知在 MinIO 部署中。
前提条件
Kafka 最低版本与支持版本
MinIO 依赖于https://github.com/Shopify/saramaproject for Kafka connectivity
并共享该项目的Kafka支持。参见sarama 兼容性和API稳定性有关更多详细信息，请参阅 section。
MinIOmc命令行工具
1) 将 Kafka 端点添加到 MinIO
您可以使用环境变量配置新的 Kafka 服务端点or通过设置运行时配置设置。
MinIO支持使用Kafka服务端点和相关配置设置进行指定环境变量. Theminio server进程将在下次启动时应用指定的设置。
以下示例代码设置全部environment variables
与配置 Kafka 服务端点相关。最低必需变量是MINIO_NOTIFY_KAFKA_ENABLE和MINIO_NOTIFY_KAFKA_BROKERS:
export MINIO_NOTIFY_KAFKA_ENABLE_<IDENTIFIER>="on"
export MINIO_NOTIFY_KAFKA_BROKERS_<IDENTIFIER>="<ENDPOINT>"
export MINIO_NOTIFY_KAFKA_TOPIC_<IDENTIFIER>="<string>"
export MINIO_NOTIFY_KAFKA_SASL_USERNAME_<IDENTIFIER>="<string>"
export MINIO_NOTIFY_KAFKA_SASL_PASSWORD_<IDENTIFIER>="<string>"
export MINIO_NOTIFY_KAFKA_SASL_MECHANISM_<IDENTIFIER>="<string>"
export MINIO_NOTIFY_KAFKA_TLS_CLIENT_AUTH_<IDENTIFIER>="<string>"
export MINIO_NOTIFY_KAFKA_SASL_<IDENTIFIER>="<string>"
export MINIO_NOTIFY_KAFKA_TLS_<IDENTIFIER>="<string>"
export MINIO_NOTIFY_KAFKA_TLS_SKIP_VERIFY_<IDENTIFIER>="<string>"
export MINIO_NOTIFY_KAFKA_CLIENT_TLS_CERT_<IDENTIFIER>="<string>"
export MINIO_NOTIFY_KAFKA_CLIENT_TLS_KEY_<IDENTIFIER>="<string>"
export MINIO_NOTIFY_KAFKA_QUEUE_DIR_<IDENTIFIER>="<string>"
export MINIO_NOTIFY_KAFKA_QUEUE_LIMIT_<IDENTIFIER>="<string>"
export MINIO_NOTIFY_KAFKA_VERSION_<IDENTIFIER>="<string>"
export MINIO_NOTIFY_KAFKA_COMMENT_<IDENTIFIER>="<string>"
替换
<IDENTIFIER>使用一个唯一的描述性字符串来表示 Kafka 服务端点。使用相同的<IDENTIFIER>所有与新目标服务端点相关的环境变量的值。 以下示例假设标识符为PRIMARY.如果指定的
<IDENTIFIER>匹配 MinIO 部署中现有的 Kafka 服务端点，新的设置覆盖该端点的任何现有设置。使用mc admin config get notify_kafka审查 MinIO 部署中当前配置的 Kafka 端点。替换
<ENDPOINT>使用逗号分隔的 Kafka 代理列表。 例如："kafka1.example.com:2021,kafka2.example.com:2021"
看Kafka Service for Bucket Notifications有关每个环境变量的完整文档。
MinIO 支持在运行状态下添加或更新 Kafka 端点minio server使用该过程mc admin config set命令
和notify_kafka配置键。您必须重启minio server应用任何新的或更新的配置设置的过程。
以下示例代码设置全部与配置 Kafka 服务端点相关的设置。最低必需设置是notify_kafka brokers:
mc admin config set ALIAS/ notify_kafka:IDENTIFIER \
brokers="<ENDPOINT>" \
topic="<string>" \
sasl_username="<string>" \
sasl_password="<string>" \
sasl_mechanism="<string>" \
tls_client_auth="<string>" \
tls="<string>" \
tls_skip_verify="<string>" \
client_tls_cert="<string>" \
client_tls_key="<string>" \
version="<string>" \
queue_dir="<string>" \
queue_limit="<string>" \
comment="<string>"
替换
IDENTIFIER使用唯一的描述性字符串作为 Kafka 服务端点。本过程中的以下示例 假设标识符为PRIMARY.如果指定的
IDENTIFIER匹配 MinIO 部署中现有的 Kafka 服务端点，新的设置覆盖该端点的任何现有设置。使用mc admin config get notify_kafka审查 MinIO 部署中当前配置的 Kafka 端点。替换
ENDPOINT以逗号分隔的 Kafka 代理列表。 例如："kafka1.example.com:2021,kafka2.example.com:2021"
看Kafka 存储桶通知配置设置有关每个设置的完整文档。
1) 重启 MinIO 部署
您必须重启 MinIO 部署以使配置更改生效。
使用mc admin service restart重启部署的命令。
mc admin service restart ALIAS
替换ALIAS随着别名部署的重新启动。
Theminio server进程在启动时会为每个已配置的Kafka目标打印一行信息，示例如下：
SQS ARNs: arn:minio:sqs::primary:kafka
在配置存储桶通知并将关联的Kafka部署设为目标时，必须指定ARN资源。
识别您的存储桶通知的ARN
你定义了<IDENTIFIER>在先前创建端点时分配给您的存储桶通知的目标ARN。
以下步骤返回在部署上配置的ARN。
通过查找先前创建的ARN来识别它。<IDENTIFIER>您指定的。
审查 JSON 输出
复制并运行以下命令，将
ALIAS随着别名部署的。mc admin info --json ALIAS
在 JSON 输出中，查找键
info.sqsARN.您需要的ARN是与该键匹配的值
<IDENTIFIER>您指定的。例如，
arn:minio:sqs::primary:kafka.
使用 jq 解析 JSON 获取值
3) 使用 Kafka 端点作为目标配置存储桶通知
使用mc event add添加新存储桶通知事件的命令，将已配置的 Kafka 服务作为目标：
mc event add ALIAS/BUCKET arn:minio:sqs::primary:kafka \
--event EVENTS
使用mc event ls要查看为给定通知目标配置的所有存储桶事件：
mc event ls ALIAS/BUCKET arn:minio:sqs::primary:kafka
4) 验证已配置的事件
对配置了新事件的存储桶执行操作，并
检查Kafka服务中的通知数据。所需操作
取决于您为events在配置存储桶通知时已指定。
例如，如果存储桶通知配置包含s3:ObjectCreated:Put事件，您可以使用mc cp在存储桶中创建新对象并触发通知的命令。
mc cp ~/data/new-object.txt ALIAS/BUCKET
更新 MinIO 部署中的 Kafka 端点
以下过程更新现有的 Kafka 服务端点以提供支持存储桶通知在 MinIO 部署中。
前提条件
Kafka 最低版本与支持版本
MinIO 依赖于https://github.com/Shopify/saramaproject for Kafka connectivity
并共享该项目的Kafka支持。参见sarama 兼容性和API稳定性有关更多详细信息，请参阅 section。
MinIOmc命令行工具
1) 列出部署中已配置的 Kafka 端点
使用mc admin config get列出部署中当前配置的 Kafka 服务端点的命令：
mc admin config get ALIAS/ notify_kafka
替换ALIAS随着别名MinIO 部署的。
命令输出类似于以下内容：
notify_kafka:primary tls_skip_verify="off" queue_dir="" queue_limit="0" sasl="off" sasl_password="" sasl_username="" tls_client_auth="0" tls="off" brokers="" topic="" client_tls_cert="" client_tls_key="" version=""
notify_kafka:secondary tls_skip_verify="off" queue_dir="" queue_limit="0" sasl="off" sasl_password="" sasl_username="" tls_client_auth="0" tls="off" brokers="" topic="" client_tls_cert="" client_tls_key="" version=""
Thenotify_kafkakey 是用于配置Kafka 通知设置. Thebrokerskey 指定给定 Kafka 服务的
端点notify_kafkakey. Thenotify_kafka:<IDENTIFIER>suffix 描述了该 Kafka 服务端点的唯一标识符。
记下您想要更新的 Kafka 服务端点的标识符，以便进行下一步操作。
2) 更新 Kafka 端点
使用mc admin config set设置 Kafka 服务端点新配置的命令：
mc admin config set ALIAS/ notify_kafka:<IDENTIFIER> \
brokers="https://kafka1.example.net:9200, https://kafka2.example.net:9200" \
topic="<string>" \
sasl_username="<string>" \
sasl_password="<string>" \
sasl_mechanism="<string>" \
tls_client_auth="<string>" \
tls="<string>" \
tls_skip_verify="<string>" \
client_tls_cert="<string>" \
client_tls_key="<string>" \
version="<string>" \
queue_dir="<string>" \
queue_limit="<string>" \
comment="<string>"
Thenotify_kafka brokersconfiguration setting
是最小值Kafka 服务端点所必需的。所有其他配置
设置都是可选的. 查看Kafka 通知设置有关 Kafka 配置设置的完整列表。
3) 重启 MinIO 部署
您必须重启 MinIO 部署以使配置更改生效。
使用mc admin service restart重启部署的命令。
mc admin service restart ALIAS
替换ALIAS随着别名部署的重新启动。
Theminio server进程在启动时会为每个已配置的Kafka目标打印一行信息，示例如下：
SQS ARNs: arn:minio:sqs::primary:kafka
4) 验证更改
对配置了事件通知的存储桶执行操作，使用更新后的
Kafka服务端点，并检查Kafka服务中的通知数据。
所需操作取决于events在配置存储桶通知时已指定。
例如，如果存储桶通知配置包含s3:ObjectCreated:Put事件，您可以使用mc cp在存储桶中创建新对象并触发通知的命令。
mc cp ~/data/new-object.txt ALIAS/BUCKET
