217 lines
6.5 KiB
Markdown
217 lines
6.5 KiB
Markdown
---
|
||
tags:
|
||
- MQ
|
||
- 安全
|
||
- 认证
|
||
- 授权
|
||
- Kafka
|
||
create time: 2026-05-24 19:52
|
||
---
|
||
|
||
# MQ 认证与授权
|
||
|
||
## 概述
|
||
|
||
MQ 作为数据流转的核心枢纽，安全防护至关重要。本文梳理 MQ 面临的安全威胁，对比 SASL/PLAIN、SASL/SCRAM、mTLS、OAuth2 四种认证机制，讲解 ACL 授权模型，并以 Kafka 为例展示完整的安全配置实践。
|
||
|
||
## 正文
|
||
|
||
### MQ 安全威胁分析
|
||
|
||
一个没有安全防护的 MQ 集群就像一栋没有门锁的大楼：
|
||
|
||
- **未授权访问**：任何人都能连接 Broker，读取或写入任意 Topic
|
||
- **消息篡改**：中间人攻击修改消息内容，下游消费者收到错误数据
|
||
- **消息窃听**：网络嗅探获取敏感消息（如用户订单、支付信息）
|
||
- **DoS 攻击**：恶意客户端大量发送消息耗尽 Broker 资源
|
||
|
||
> [!question]
|
||
> 如果你的 MQ 集群部署在内网，是否还需要认证授权？内网就一定安全吗？
|
||
|
||
### 认证机制对比
|
||
|
||
#### SASL/PLAIN
|
||
|
||
最简单的用户名密码认证。密码以明文传输（除非配合 TLS），适合开发测试环境。
|
||
|
||
- 优点：配置简单，无需额外基础设施
|
||
- 缺点：密码明文传输、不支持动态添加用户（需重启 Broker）
|
||
|
||
#### SASL/SCRAM
|
||
|
||
基于挑战-响应的认证协议，密码不在网络上传输。Kafka 支持 SCRAM-SHA-256 和 SCRAM-SHA-512。
|
||
|
||
- 优点：密码加密存储、支持动态添加用户、无需重启 Broker
|
||
- 缺点：性能比 mTLS 略低
|
||
|
||
#### mTLS（双向 TLS）
|
||
|
||
客户端和服务端互相验证证书。这是安全性最高的方案。
|
||
|
||
- 优点：双向认证、无需密码管理、证书可自动轮转
|
||
- 缺点：证书管理复杂（签发、分发、续期、吊销）
|
||
|
||
#### OAuth2/OIDC
|
||
|
||
基于令牌的认证，适合云原生和微服务场景。客户端通过 OAuth2 Server 获取 Token，携带 Token 连接 Broker。
|
||
|
||
- 优点：与企业身份系统集成、支持细粒度权限、令牌可过期
|
||
- 缺点：依赖外部 OAuth2 Server、配置复杂
|
||
|
||
### 认证授权流程
|
||
|
||
```mermaid
|
||
sequenceDiagram
|
||
participant Client as "Client App"
|
||
participant Broker as "Kafka Broker"
|
||
participant Authn as "Authentication Module"
|
||
participant Authz as "Authorization Module (ACL)"
|
||
Client->>Broker: "Connect with credentials"
|
||
Broker->>Authn: "Verify identity"
|
||
Authn-->>Broker: "Identity: user-service-order"
|
||
Client->>Broker: "Produce to order-topic"
|
||
Broker->>Authz: "Check ACL: can user-service-order WRITE order-topic?"
|
||
Authz-->>Broker: "ALLOW"
|
||
Broker-->>Client: "Produce success"
|
||
Client->>Broker: "Consume payment-topic"
|
||
Broker->>Authz: "Check ACL: can user-service-order READ payment-topic?"
|
||
Authz-->>Broker: "DENY"
|
||
Broker-->>Client: "Authorization failed"
|
||
```
|
||
|
||
### ACL 授权模型
|
||
|
||
ACL（Access Control List）提供 Topic 级别的细粒度权限控制。Kafka 的 ACL 由五元组定义：
|
||
|
||
- **Principal**：认证身份（如 `User:alice`）
|
||
- **Resource**：资源类型和名称（如 `Topic:order-events`）
|
||
- **Operation**：操作类型（Read/Write/Create/Delete/Describe）
|
||
- **Permission**：Allow/Deny
|
||
- **Host**：来源 IP（可选）
|
||
|
||
常见权限模式：
|
||
- 最小权限原则：每个服务只授予需要的 Topic 权限
|
||
- 生产者只有 Write 权限，消费者只有 Read 权限
|
||
- 管理操作（Create/Delete）只授予运维账号
|
||
|
||
### Kafka 完整安全配置
|
||
|
||
下面展示 SASL/SCRAM + ACL 的完整配置流程。
|
||
|
||
Broker 端配置（`server.properties`）：
|
||
|
||
```properties
|
||
# 启用 SASL/SCRAM 认证
|
||
listeners=SASL_SSL://:9093
|
||
security.inter.broker.protocol=SASL_SSL
|
||
sasl.mechanism.inter.broker.protocol=SCRAM-SHA-256
|
||
sasl.enabled.mechanisms=SCRAM-SHA-256
|
||
|
||
# 启用 ACL
|
||
authorizer.class.name=kafka.security.authorizer.AclAuthorizer
|
||
super.users=User:admin
|
||
allow.everyone.if.no.acl.found=false
|
||
```
|
||
|
||
```bash
|
||
# 创建用户
|
||
kafka-configs.sh --bootstrap-server localhost:9093 \
|
||
--alter --add-config 'SCRAM-SHA-256=[iterations=8192,password=secret]' \
|
||
--entity-type users --entity-name order-service
|
||
|
||
# 授权：允许 order-service 写 order-topic
|
||
kafka-acls.sh --bootstrap-server localhost:9093 \
|
||
--add --allow-principal User:order-service \
|
||
--producer --topic order-topic
|
||
|
||
# 授权：允许 payment-service 读 order-topic
|
||
kafka-acls.sh --bootstrap-server localhost:9093 \
|
||
--add --allow-principal User:payment-service \
|
||
--consumer --topic order-topic --group payment-group
|
||
```
|
||
|
||
### Go 代码：SASL/SCRAM 认证配置
|
||
|
||
```go
|
||
package main
|
||
|
||
import (
|
||
"crypto/sha256"
|
||
"crypto/sha512"
|
||
"hash"
|
||
|
||
"github.com/IBM/sarama"
|
||
"github.com/xdg-go/scram"
|
||
)
|
||
|
||
// SCRAM 客户端实现
|
||
type SCRAMClient struct {
|
||
*scram.Client
|
||
*scram.ClientConversation
|
||
hashGenerator func() hash.Hash
|
||
}
|
||
|
||
func (c *SCRAMClient) Begin(userName, password, authzID string) error {
|
||
client, err := c.hashGenerator().NewClient(userName, password, authzID)
|
||
if err != nil {
|
||
return err
|
||
}
|
||
c.Client = client
|
||
c.ClientConversation = client.NewConversation()
|
||
return nil
|
||
}
|
||
|
||
func (c *SCRAMClient) Step(challenge string) (string, error) {
|
||
return c.ClientConversation.Step(challenge)
|
||
}
|
||
|
||
func (c *SCRAMClient) Done() bool {
|
||
return c.ClientConversation.Done()
|
||
}
|
||
|
||
func main() {
|
||
config := sarama.NewConfig()
|
||
config.Net.SASL.Enable = true
|
||
config.Net.SASL.Mechanism = sarama.SASLTypeSCRAMSHA256
|
||
config.Net.SASL.User = "order-service"
|
||
config.Net.SASL.Password = "secret"
|
||
config.Net.SASL.SCRAMClientGeneratorFunc = func() sarama.SCRAMClient {
|
||
return &SCRAMClient{hashGenerator: sha256.New}
|
||
}
|
||
config.Net.TLS.Enable = true // SCRAM 通常配合 TLS 使用
|
||
|
||
producer, err := sarama.NewSyncProducer([]string{"localhost:9093"}, config)
|
||
if err != nil {
|
||
panic(err)
|
||
}
|
||
defer producer.Close()
|
||
|
||
// 发送消息，自动完成 SCRAM 认证握手
|
||
msg := &sarama.ProducerMessage{
|
||
Topic: "order-topic",
|
||
Value: sarama.StringEncoder(`{"order_id": "12345"}`),
|
||
}
|
||
partition, offset, _ := producer.SendMessage(msg)
|
||
_ = partition
|
||
_ = offset
|
||
}
|
||
```
|
||
|
||
这段代码实现了 SASL/SCRAM-SHA-256 认证的完整流程：客户端发送用户名，Broker 返回挑战（salt + iteration），客户端计算哈希响应，Broker 验证通过后建立连接。
|
||
|
||
### mTLS 的简化方案
|
||
|
||
> [!question]
|
||
> mTLS 安全性最高，但管理证书很麻烦。在微服务场景下如何简化证书管理？
|
||
|
||
几种主流方案：
|
||
- **Service Mesh（Istio）**：Sidecar 代理自动处理证书签发和轮转，应用层完全无感
|
||
- **cert-manager**：K8s 上的证书管理控制器，自动签发和续期
|
||
- **SPIFFE/SPIRE**：标准化的服务身份框架，跨平台证书管理
|
||
|
||
## 关联笔记
|
||
|
||
- [[43-MQ-加密与审计]]
|
||
- [[40-MQ-性能调优]]
|
||
- [[39-MQ-容器化与-K8s-部署]]
|