---
tags:
  - MQ
  - 安全
  - 加密
  - 审计
  - 合规
create time: 2026-05-24 19:52
---

# MQ 加密与审计

## 概述

认证授权解决了"谁在访问"的问题，加密和审计则解决"数据是否安全"和"操作是否可追溯"。本文覆盖传输加密、消息级加密、密钥管理、审计日志、配额管理和多租户隔离，构建 MQ 安全的完整防护体系。

## 正文

### 传输加密：TLS/SSL

传输加密是最基础的安全措施，防止网络嗅探和中间人攻击。MQ 场景下有两类通信需要加密：

1. **Client-Broker 通信**：Producer/Consumer 与 Broker 之间的数据传输
2. **Broker-Broker 通信**：集群内部副本同步、Controller 通信

TLS 配置要点：
- 使用 TLS 1.2+ 版本，禁用弱加密套件
- 生产环境必须双向认证（mTLS），至少服务端验证
- 证书有效期不宜过长（建议 90 天），配合自动轮转

```mermaid
graph LR
    subgraph "加密层次"
        TLS["传输加密 TLS - 加密传输通道"]
        MsgEnc["消息级加密 - 加密消息体"]
        AtRest["静态加密 - 加密磁盘存储"]
    end
    Producer["Producer"] -->|"TLS 加密通道"| Broker["Broker"]
    Broker -->|"磁盘加密"| Disk["Storage"]
    Broker -->|"TLS 加密通道"| Consumer["Consumer"]
    Producer -.->|"应用层加密消息体"| MsgEnc
```

### 消息级加密（Envelope Encryption）

TLS 只保护传输通道，消息在 Broker 端以明文存储。如果 Broker 被入侵或存储介质被盗，消息就暴露了。消息级加密在应用层加密消息体，Broker 只存储密文。

Envelope Encryption 工作流程：

1. Producer 用 **数据密钥（DEK）** 加密消息体
2. DEK 用 **密钥加密密钥（KEK）** 加密后随消息一起发送
3. Broker 存储密文和加密后的 DEK
4. Consumer 获取消息后，先用 KEK 解密 DEK，再用 DEK 解密消息

```go
package main

import (
	"crypto/aes"
	"crypto/cipher"
	"crypto/rand"
	"encoding/json"
	"io"

	"github.com/IBM/sarama"
)

// EnvelopeMessage 包含加密后的数据和加密后的 DEK
type EnvelopeMessage struct {
	EncryptedData []byte `json:"encrypted_data"`
	EncryptedDEK  []byte `json:"encrypted_dek"`
}

// encryptMessage 使用 AES-GCM 加密消息体
func encryptMessage(plaintext []byte, kek []byte) (*EnvelopeMessage, error) {
	// 生成随机 DEK
	dek := make([]byte, 32)
	rand.Read(dek)

	// 用 DEK 加密消息
	block, _ := aes.NewCipher(dek)
	gcm, _ := cipher.NewGCM(block)
	nonce := make([]byte, gcm.NonceSize())
	io.ReadFull(rand.Reader, nonce)
	encryptedData := gcm.Seal(nonce, nonce, plaintext, nil)

	// 用 KEK 加密 DEK
	kekBlock, _ := aes.NewCipher(kek)
	kekGCM, _ := cipher.NewGCM(kekBlock)
	kekNonce := make([]byte, kekGCM.NonceSize())
	io.ReadFull(rand.Reader, kekNonce)
	encryptedDEK := kekGCM.Seal(kekNonce, kekNonce, dek, nil)

	return &EnvelopeMessage{
		EncryptedData: encryptedData,
		EncryptedDEK:  encryptedDEK,
	}, nil
}

func main() {
	kek := []byte("0123456789abcdef0123456789abcdef") // KEK 从 KMS 获取

	plaintext := []byte(`{"user_id": "u123", "action": "purchase"}`)
	envelope, _ := encryptMessage(plaintext, kek)

	data, _ := json.Marshal(envelope)
	msg := &sarama.ProducerMessage{
		Topic: "sensitive-events",
		Value: sarama.ByteEncoder(data),
	}
	_ = msg // 发送到 Kafka
}
```

> [!question]
> 消息级加密会让 Broker 端的消息过滤失效，如何解决这个矛盾？

这是一个经典的取舍问题。几种应对方案：
- **部分加密**：只加密敏感字段，保留用于过滤的元数据在 Header 中明文传输
- **Token 化**：用 Token 替代敏感数据，Broker 按 Token 过滤
- **Consumer 端过滤**：接受 Broker 无法过滤的现实，在 Consumer 端做过滤（增加带宽消耗）

### 密钥管理

密钥管理是加密体系的核心。密钥泄露等于加密形同虚设。

**KMS（Key Management Service）**：云厂商提供的密钥管理服务（AWS KMS、Azure Key Vault、HashiCorp Vault），核心能力：
- 密钥生成和存储（HSM 硬件保护）
- 密钥轮转（自动更换 KEK，旧密钥保留用于解密历史数据）
- 访问审计（谁在什么时候访问了哪个密钥）

**密钥轮转策略**：
- KEK 定期轮转（如每 90 天）
- 轮转后旧 KEK 不立即删除，保留用于解密历史消息
- DEK 不需要轮转（每条消息用不同的 DEK）

### 审计日志

审计日志记录所有管理操作，用于事后追溯和合规审查。需要记录的事件：

- **Topic 管理**：创建、删除、配置变更
- **ACL 变更**：权限授予、撤销
- **用户管理**：用户创建、密码变更、证书签发
- **集群操作**：Broker 上下线、配置变更、滚动升级

审计日志要求：
- 不可篡改（写入独立存储，与 Broker 日志分离）
- 包含操作者身份、时间戳、操作详情、来源 IP
- 保留期限符合合规要求（通常 1-3 年）

### 配额管理

防止单个 Producer/Consumer 独占资源，影响其他租户：

- **生产者带宽配额**：限制每秒发送字节数（`producer_byte_rate`）
- **消费者带宽配额**：限制每秒拉取字节数（`consumer_byte_rate`）
- **请求百分比配额**：限制 CPU 时间占比（`request_percentage`）
- **连接数限制**：限制单个客户端 IP 的最大连接数

```bash
# 为 user-order-service 设置生产者带宽配额：10MB/s
kafka-configs.sh --bootstrap-server localhost:9093 \
  --alter --add-config 'producer_byte_rate=10485760' \
  --entity-type clients --entity-name order-service
```

### 多租户隔离

当多个团队或业务共用一个 MQ 集群时，隔离至关重要：

| 隔离维度 | 方案 | 效果 |
|----------|------|------|
| 命名空间 | Topic 前缀（如 `team-a.orders`） | 逻辑隔离，防止命名冲突 |
| 资源配额 | 带宽/连接数限制 | 防止资源争抢 |
| ACL 权限 | 按租户授予 Topic 权限 | 访问隔离 |
| 网络隔离 | 网络策略/专用 Listener | 防止跨租户网络访问 |
| 物理隔离 | 独立集群 | 最强隔离，成本最高 |

### 多租户安全架构

```mermaid
graph TB
    subgraph TenantA["Tenant A"]
        AppA["Service A"]
    end
    subgraph TenantB["Tenant B"]
        AppB["Service B"]
    end
    subgraph MQCluster["MQ Cluster"]
        ACL["ACL Engine"]
        Quota["Quota Manager"]
        Audit["Audit Logger"]
        BrokerA["Broker 0"]
        BrokerB["Broker 1"]
        BrokerC["Broker 2"]
    end
    subgraph Storage["Key Storage"]
        KMS["KMS / Vault"]
    end
    AppA -->|"TLS + SASL"| ACL
    AppB -->|"TLS + SASL"| ACL
    ACL -->|"check permission"| Quota
    Quota -->|"enforce limits"| BrokerA
    Quota --> BrokerB
    Quota --> BrokerC
    ACL -->|"log"| Audit
    AppA -.->|"fetch DEK"| KMS
    AppB -.->|"fetch DEK"| KMS
```

### 合规要求

在金融、医疗、出海场景下，MQ 还需满足合规要求：

- **数据驻留（Data Residency）**：特定数据必须存储在指定地域（如欧盟用户数据不出欧盟）
- **消息保留策略**：按数据分类设定不同的保留时长，过期自动删除
- **GDPR**：支持数据主体的"被遗忘权"——收到删除请求后，必须能从 MQ 中彻底删除相关消息（这在不可变日志中很难实现，通常通过加密密钥销毁来实现"逻辑删除"）

### Go 代码：TLS 连接配置

```go
package main

import (
	"crypto/tls"
	"crypto/x509"
	"os"

	"github.com/IBM/sarama"
)

func main() {
	// 加载 CA 证书
	caCert, _ := os.ReadFile("ca.pem")
	caCertPool := x509.NewCertPool()
	caCertPool.AppendCertsFromPEM(caCert)

	// 加载客户端证书（mTLS 场景）
	cert, _ := tls.LoadX509KeyPair("client.pem", "client-key.pem")

	tlsConfig := &tls.Config{
		Certificates: []tls.Certificate{cert},
		RootCAs:      caCertPool,
		MinVersion:   tls.VersionTLS12,
	}

	config := sarama.NewConfig()
	config.Net.TLS.Enable = true
	config.Net.TLS.Config = tlsConfig

	producer, err := sarama.NewSyncProducer([]string{"broker1:9093"}, config)
	if err != nil {
		panic(err)
	}
	defer producer.Close()

	// 通过 TLS 加密通道发送消息
	msg := &sarama.ProducerMessage{
		Topic: "secure-topic",
		Value: sarama.StringEncoder("encrypted in transit"),
	}
	producer.SendMessage(msg)
}
```

这段代码展示了 Kafka TLS 连接的完整配置：加载 CA 证书验证服务端身份，加载客户端证书实现双向认证，强制 TLS 1.2 最低版本。

## 关联笔记

- [[42-MQ-认证与授权]]
- [[40-MQ-性能调优]]
- [[39-MQ-容器化与-K8s-部署]]