vault backup: 2026-07-13 13:49:29

This commit is contained in:
2026-07-13 13:49:29 +08:00
parent fa4cccd08d
commit 0352aa9af7
+308 -350
View File
@@ -269,261 +269,97 @@ graph TB
---
## 干系人与角色
## 角色模型
| 角色 | 职责 | 平台交互模块 |
|------|------|-------------|
| 开发人员 | 编写代码、提交发布、申请数据库/缓存资源 | Wayne、CD、CloudDM、CacheCloud |
| DBA | SQL 审核、数据库性能优化、容量规划 | CloudDM / open-cdm |
| SRE / 运维 | 集群维护、自动化部署、故障响应 | Wayne、Ansible、RKE2、任务中心 |
| 业务负责人 | 查看本业务线资源使用情况、告警状态 | 资源大盘、资源状态看板、多租户管理 |
| 平台管理员 | 账号权限管理、资源配置、平台运维、节点纳管 | 全模块管理后台、集群管理、运维终端 |
| 安全团队 | WAF 策略制定、安全审计、合规检查 | WAF、审计面板 |
主系统采用**二维角色模型**:权限维度 × 业务线维度。
### 权限维度
| 权限角色 | 权限范围 |
|---------|---------|
| 超级管理员 | 全平台所有模块的读写权限,包括集群管理、运维终端、账号权限管理、审计全局查看 |
| 业务操作员 | 本业务线内资源的申请、部署、配置变更;可操作 Wayne/CloudDM/CacheCloud/Apollo 中本业务线的资源 |
| 日志操作员 | 本业务线的日志查看、告警查看、审计记录查看;无写入/变更权限 |
| 访客 | 只读查看资源大盘、服务目录、告警概览;不可执行任何操作 |
### 业务线维度
| 业务线 | 说明 |
|--------|------|
| Kodo | 七牛云存储 |
| LAS | 七牛云直播 |
| 灵矽 | 七牛云 IoT |
| LTOKEN | 七牛云 Token 服务 |
| MAAS | 七牛云模型即服务 |
### 权限矩阵
| 模块 | 超级管理员 | 业务操作员 | 日志操作员 | 访客 |
|------|-----------|-----------|-----------|------|
| 资源大盘 | ✓ 全局 | ✓ 本业务线 | ✓ 本业务线 | ✓ 全局只读 |
| 告警看板 | ✓ 全局 | ✓ 本业务线 | ✓ 本业务线 | ✓ 只读 |
| 集群与节点管理 | ✓ 读写 | ○ 只读 | ○ 只读 | ✗ |
| 多租户管理 | ✓ 读写 | ✗ | ✗ | ✗ |
| Wayne 部署 | ✓ 读写 | ✓ 本业务线 | ○ 只读 | ✗ |
| CloudDM SQL 审核 | ✓ 读写 | ✓ 本业务线 | ○ 只读 | ✗ |
| CacheCloud 缓存 | ✓ 读写 | ✓ 本业务线 | ○ 只读 | ✗ |
| Apollo 配置 | ✓ 读写 | ✓ 本业务线 | ○ 只读 | ✗ |
| 任务中心 | ✓ 全局 | ✓ 本业务线 | ✓ 本业务线 | ✗ |
| 资源台账 | ✓ 读写 | ○ 只读 | ○ 只读 | ✗ |
| 审计面板 | ✓ 全局 | ✗ | ✓ 本业务线 | ✗ |
| 运维终端 | ✓ 仅管理员 | ✗ | ✗ | ✗ |
> ✓ = 读写权限,○ = 只读权限,✗ = 无权限
---
## 功能需求
### FR-1 资源大盘
### Phase 1 — MVP(当前阶段)
> 为平台管理员及业务负责人提供跨机房、多云容器资源的全局快照与健康视图。
> 最小可用集:多租户认证 + 子系统对接
| 编号 | 需求描述 | 优先级 |
|------|---------|--------|
| FR-1.1 | 展示核心指标:RKE2 集群数量、在线机房数、节点总数及近期增量、CPU 总核数/已分配/分配率、组件实例总数及分类(MySQL、Redis、其他)、进行中的自动化任务数量 | P0 |
| FR-1.2 | 集群拓扑:以机房为维度,显示各机房节点池方格图(node grid),每个方格代表一台物理机/节点,颜色区分业务线(Kodo、LAS 等),空闲节点用虚线框表示 | P0 |
| FR-1.3 | 最近任务:列表展示最近 5 条 ansible-playbook 任务的执行状态(成功/执行中/失败)和耗时,快速跳转至任务中心 | P0 |
| FR-1.4 | 刷新机制:页面自动显示"最近更新于 xx 秒前",支持手动刷新 | P1 |
#### 1.1 平台基础能力
**验收标准**:
- 页面加载后 3s 内展示全局指标数据
- 节点方格图能正确反映各业务线的资源分布
- 最近任务状态与任务中心实时同步
---
### FR-2 资源状态看板与告警
> 整合物理机、虚机、基础服务三层的健康状态,通过夜莺(Nightingale)统一告警引擎将多源告警标准化展示,提供自上而下的故障定位入口。
**数据源**:
- 物理机硬件 & 网络设备健康:Zabbix(IPMI/温度/电源/风扇/存储)
- 虚机 & 容器 & 业务层指标:VictoriaMetrics(K8s/主机指标/服务可用性探活)
- Nightingale 作为统一告警聚合层,负责去重、收敛、分级(P0/P1/…),按 disaster/high/average 等原始级别映射,推送至 qpass 告警通道
| 编号 | 需求描述 | 优先级 |
|------|---------|--------|
| FR-2.1 | 核心统计:物理机总数、虚机总数、基础组件实例总数;P0(Disaster)、P1(High) 及 average 级别告警数量,标注来自 Zabbix 或 VictoriaMetrics | P0 |
| FR-2.2 | 物理机状态:按机房汇总在线数、健康率(带进度条),标识正常/告警/严重状态 | P0 |
| FR-2.3 | 虚机状态:按业务线展示 LAS 资源池中的虚机数、CPU 均值及告警状态 | P0 |
| FR-2.4 | 基础服务状态:覆盖 MySQL、Redis(CacheCloud)、PostgreSQL、openresty 网关等,显示实例数、异常数、可用率 | P0 |
| FR-2.5 | 当前告警详情:表格列出所有 P0/P1 及 average 级别的实时告警,含级别标签、来源、原始级别、目标对象、告警内容、发生时间 | P0 |
**验收标准**:
- 告警数据与 Nightingale 实时同步,延迟 < 30s
- 支持按级别、来源、机房筛选告警
- 点击告警可跳转至对应子系统或 Nightingale 详情页
---
### FR-3 集群与节点管理
> 管理全平台 RKE2 集群的生命周期及节点信息,支持新节点的自动加入。
| 编号 | 需求描述 | 优先级 |
|------|---------|--------|
| FR-3.1 | 集群列表:展示集群名称、所在机房/区域、健康状态、节点数、CPU 使用率(进度条)、RKE2 版本、Calico 配置(AS 号等);对存在告警的集群高亮提醒 | P0 |
| FR-3.2 | 节点列表(集群内):节点主机名、内网 IP、业务线标签(如 `business-line=kodo`)及对应 Taint、节点规格(CPU/内存)、CPU/Mem 使用率(进度条)、节点状态(Ready/资源告警/空闲) | P0 |
| FR-3.3 | 节点加入向导:通过弹窗交互完成新节点加入——选择目标集群 → 输入节点 IP → 指定归属业务线(自动注入 node-label 和 taint)→ 提交后后台调用 `roles/rke2-node-join` playbook,完成内核参数初始化、containerd 安装、标签/污点写入、加入集群并等待 Ready | P0 |
**验收标准**:
- 集群列表数据实时刷新,告警集群高亮标识
- 节点加入向导从提交到 Ready < 10 分钟
- 节点标签和 Taint 信息与 kubectl 输出一致
---
### FR-4 多租户业务线管理
##### 多租户与认证
> 基于 LDAP 组织信息自动生成业务线租户,为每个业务线分配独立的命名空间和资源配额,结合节点亲和性与 ResourceQuota 实现双重隔离。
| 编号 | 需求描述 | 优先级 |
|------|---------|--------|
| FR-4.1 | 业务线列表:业务线标识/名称、对应的 LDAP 部门 DN、归属的物理节点数、CPU 总配额及已用比例(进度条)、绑定的 Kubernetes 命名空间、负责人信息 | P0 |
| FR-4.2 | 隔离策略:通过节点标签(`business-line=xxx`)配合 NodeAffinity 和 Taint,确保 Pod 只能调度到本业务线的物理节点上 | P0 |
| FR-4.3 | 配额管理:在命名空间内施加 ResourceQuota / LimitRange,避免单一业务线无限占用资源 | P0 |
**验收标准**:
- 新业务线可在平台自助创建,自动完成 Namespace + 标签 + Taint + ResourceQuota 配置
- 跨业务线 Pod 调度隔离验证通过
- 配额超限告警正常触发
- [ ] P0 — 业务线列表:业务线标识/名称、对应的 LDAP 部门 DN、归属的物理节点数、CPU 总配额及已用比例(进度条)、绑定的 Kubernetes 命名空间、负责人信息
- [ ] P0 — 隔离策略:通过节点标签(`business-line=xxx`)配合 NodeAffinity 和 Taint,确保 Pod 只能调度到本业务线的物理节点上
- [ ] P0 — 配额管理:在命名空间内施加 ResourceQuota / LimitRange,避免单一业务线无限占用资源
---
### FR-5 资源台账管理(CMDB 多云同步)
> 以 SINA CMDB 为基础数据底座,统一纳管物理机与虚机资源,并通过阿里云、AWS、七牛 LAS 的 OpenAPI 同步云上虚机,形成全量、唯一、可追溯的资源台账。
| 编号 | 需求描述 | 优先级 |
|------|---------|--------|
| FR-5.1 | 资源来源统计:资源总数(物理机 + 虚机),各来源(SINA CMDB、阿里云同步、AWS 同步、七牛 LAS 同步)的数量及最近一次同步状态 | P0 |
| FR-5.2 | 资源台账列表:主机名、资产编号、资源类型(物理机/虚机)、机房/区域、内网 IP、规格、归属业务线、数据来源标签、生命周期状态(production/idle/retired) | P0 |
| FR-5.3 | 组合筛选:支持按资源类型、数据来源、业务线、状态等条件组合筛选,以及关键字搜索 | P0 |
| FR-5.4 | 同步与去重策略:各云平台定时增量同步,已存在记录跳过更新(保护 CMDB 人工维护字段),不存在则新增并标记来源 | P0 |
| FR-5.5 | 创建虚机入口:提供"+ 创建虚机"按钮,跳转或触发七牛 LAS 平台的虚机申请/创建流程(对接 LAS API) | P1 |
**验收标准**:
- 同步后资源台账与各云平台实际资源一致,去重逻辑验证通过
- 支持多条件组合筛选,搜索响应 < 1s
- 人工在 CMDB 侧修改的字段不被同步覆盖
---
### FR-6 服务目录管理(Consul 同步)
> 聚合各机房已有的 Consul 注册中心服务信息,提供跨机房的服务名、IP、业务标签、健康状态的统一检索视图,不改变各机房 Consul 自身的注册发现链路。
| 编号 | 需求描述 | 优先级 |
|------|---------|--------|
| FR-6.1 | 同步机制:定时调用各机房 Consul Catalog API(`/v1/catalog/services`、`/v1/health/service`),按 Datacenter 维度拉取全量服务并汇总入库。同步间隔采用差异化策略:国内机房(YZH/XS/JF)30 秒,海外机房(达拉斯/新加坡/香港/东南亚)根据网络延迟适当延长(建议 60-120 秒),具体间隔待实测后确定 | P0 |
| FR-6.2 | 服务台账:服务名、所在机房/Datacenter、业务标签、总实例数、健康实例数、示例 IP、整体健康状态 | P0 |
| FR-6.3 | 筛选与搜索:支持按机房、业务标签、健康状态筛选,以及服务名/IP 搜索 | P0 |
| FR-6.4 | 统计面板:接入 Consul Datacenter 数量、服务总数(去重)、服务实例总数、健康实例占比、最近同步状态 | P0 |
**验收标准**:
- 7 个 Datacenter(国内 3 + 海外 4)全部接入
- 国内机房数据 30 秒内同步,海外机房同步延迟 < 120 秒(具体待实测确定)
- 不影响各机房 Consul 自身注册发现链路(只读聚合)
- 健康状态与 Consul Health API 一致
---
### FR-7 基础服务目录与一键部署
> 将标准化基础组件封装为服务卡片,用户通过界面选择参数,后台调用 Ansible Playbook 自动完成部署和子系统注册。
#### 服务卡片规格
| 服务 | 可配参数 | 部署后自动注册 |
|------|---------|--------------|
| MySQL | 业务线、架构模式(一主两从/一主一从/单实例)、规格(CPU/内存/磁盘)、版本(8.0/5.7)、实例名称 | open-cdm 数据源 |
| Redis | 业务线、架构模式(Cluster/Sentinel/Standalone)、规格(8G/16G 等)、版本(7.2)、实例名称 | CacheCloud 应用创建 API |
| openresty | 业务线、规格、路由规则 | — |
| dpvs | 业务线、规格、负载策略 | — |
| PgSQL | 业务线、架构模式(流复制主从)、规格、版本 | open-cdm(二期) |
| 编号 | 需求描述 | 优先级 |
|------|---------|--------|
| FR-7.1 | 服务卡片展示:每个基础组件以卡片形式展示,点击弹出多步骤向导(基础信息 → 规格网络 → 确认部署) | P0 |
| FR-7.2 | 参数预览:底部实时预览生成的 playbook 调用参数(YAML 格式) | P0 |
| FR-7.3 | 自动注册:部署完成后自动调用子系统 API 完成注册(MySQL → open-cdm,Redis → CacheCloud) | P0 |
| FR-7.4 | 扩展性:预留"接入新服务"卡片,允许通过封装新的 Ansible Playbook 并注册到平台扩展服务目录 | P1 |
**验收标准**:
- MySQL 一键部署:单实例 < 5 分钟,一主一从 < 10 分钟,一主两从 < 15 分钟
- Redis 一键部署:Standalone < 3 分钟,Sentinel < 5 分钟,Cluster < 10 分钟
- 部署后自动注册到对应子系统,状态可查
- PgSQL 二期正式接入并集成 open-cdm SQL 审核
---
### FR-8 组件实例台账
> 提供所有已部署基础组件的统一台账,展示实例与子系统的关联关系,支持快速检索和运维管理。
| 编号 | 需求描述 | 优先级 |
|------|---------|--------|
| FR-8.1 | 列表信息:实例名、组件类型及版本、归属业务线、所在集群、运行状态、子系统注册状态(如 `open-cdm ✓`、`CacheCloud ✓` 或同步中) | P0 |
| FR-8.2 | 管理操作:提供"管理"快捷操作,可跳转至对应子系统或发起运维任务 | P0 |
| FR-8.3 | 分页与搜索:支持按实例名称、类型等过滤,分页能力 | P0 |
**验收标准**:
- 实例状态与实际部署一致,子系统注册状态实时更新
- 点击"管理"可正确跳转至对应子系统
---
### FR-9 任务中心与自动化执行
> 集中展现所有通过 xinfra 发起的 Ansible Playbook 任务或 Wayne 发布任务的执行历史,提供实时日志输出。
| 编号 | 需求描述 | 优先级 |
|------|---------|--------|
| FR-9.1 | 任务列表:任务状态(执行中/成功/失败)、任务名称、所用 playbook 名称或任务描述;执行中的任务高亮显示 | P0 |
| FR-9.2 | 实时日志:通过 WebSocket 流式输出 ansible-playbook 的执行日志,格式包含时间戳、TASK 名称和结果状态(ok/changed/failed),模拟终端输出效果,支持自动滚动 | P0 |
| FR-9.3 | 历史查询:任务列表支持分页,可查看过往所有任务的执行结果,便于审计和排障 | P0 |
**验收标准**:
- 执行中任务日志实时推送,延迟 < 1s
- 日志格式清晰可读,支持终端式滚动
- 历史任务可按时间/状态/名称筛选
---
### FR-10 配置中心管理(Apollo)
> 对 Apollo 配置中心进行统一接入和管理,实现在单一 Portal 管理所有机房的配置,确保配置的灰度发布、回滚与变更审计。
| 编号 | 需求描述 | 优先级 |
|------|---------|--------|
| FR-10.1 | 核心指标展示:已接入机房数、Apollo Cluster 数量、配置项总数、Namespace 数、接入业务线及同步状态 | P0 |
| FR-10.2 | 统一入口:提供 Apollo Portal 快捷入口(内部域名 `apollo.xinfra.internal`),LDAP SSO 单点登录 | P0 |
| FR-10.3 | 机房列表:展示每个机房的 Apollo Cluster、Config Service 地址、承载方式(容器化 K8s Service)、接入业务线和配置项数、运行状态(运行中/灰度接入/建设中/待启动) | P0 |
**部署架构约束**:
- Portal + Admin Service:YZH 主中心统一部署
- Config Service:按机房独立部署(yzh/xs/jf/dallas 等),容器化运行在 K8s 内
- 数据同步:ConfigDB/PortalDB 部署在 YZH,各机房 Config Service 本地缓存全量配置,网络抖动时降级提供本地缓存
**验收标准**:
- YZH、XS 机房正式运行,JF 灰度接入
- 配置变更支持灰度发布和一键回滚
- 海外机房(达拉斯、新加坡、香港、东南亚)按三期规划陆续建设
---
### FR-11 监控、日志与告警集成
> 集成公司现有监控与日志基础设施的状态和主要入口,方便从平台直接掌握各子系统健康度。
| 编号 | 需求描述 | 优先级 |
|------|---------|--------|
| FR-11.1 | VictoriaMetrics 指标概览:展示七机房采集节点数、活跃时序数量、Prometheus 接口状态、已建 Grafana 仪表盘数 | P0 |
| FR-11.2 | Zabbix 硬件监控:物理机监控覆盖率、当前告警数、网络设备健康度、存储健康度 | P0 |
| FR-11.3 | 统一日志与告警流水:以实时日志流形式展示关键系统事件(CMDB 同步、Zabbix 告警、VictoriaMetrics 抓取、ELK 日志接入、qpass 合并推送),类似运维公告板 | P1 |
**验收标准**:
- 监控数据与各子系统实时同步
- 告警流水可按时间、类型筛选
- Grafana 仪表盘快捷入口可直接跳转
---
### FR-12 统一子系统导航
##### 统一子系统导航
> 作为所有相关子系统的单一入口门户,利用 LDAP 统一账号实现 SSO,用户无需记忆多个地址和重复认证。
| 编号 | 需求描述 | 优先级 |
|------|---------|--------|
| FR-12.1 | 已集成系统卡片展示:系统图标、名称、简要说明及 LDAP/SSO 接入状态(已接入/改造中),预留打开链接 | P0 |
| FR-12.2 | 已集成系统包括:Wayne、open-cdm、CacheCloud、qpass、Grafana、Apollo | P0 |
| FR-12.3 | SSO 跳转:点击卡片通过 LDAP SSO 跳转至对应子系统,无需重复登录 | P0 |
**验收标准**:
- 所有已集成系统卡片正确展示,SSO 跳转正常
- 未接入系统标注"改造中"状态
- [ ] P0 — 已集成系统卡片展示:系统图标、名称、简要说明及 LDAP/SSO 接入状态(已接入/改造中),预留打开链接
- [ ] P0 — 已集成系统包括:Wayne、open-cdm、CacheCloud、qpass、Grafana、Apollo
- [ ] P0 — SSO 跳转:点击卡片通过 LDAP SSO 跳转至对应子系统,无需重复登录
---
### FR-13 容器编排与多集群管理(RKE2 + Wayne)
##### 审计面板(主系统)
> 底层基于 RKE2 构建七机房 K8s 集群,上层通过 Wayne 平台提供统一的容器管理入口。
> 记录主系统自身的登录事件和运维操作日志,不聚合子系统操作审计。
**目标**:开发人员通过 Wayne UI 或 API 完成服务部署,无需直接操作 kubectl。
- [ ] P0 — 登录审计:记录每次 LDAP SSO 登录事件(操作人、时间、来源 IP、目标子系统),支持按时间/操作人/子系统筛选查询
- [ ] P0 — 运维操作审计:记录主系统运维终端的操作(Ansible Playbook 执行、节点加入、配置变更等),支持按时间/操作人/操作类型筛选
- [ ] P1 — 安全事件面板:异常登录检测、敏感操作告警
- [ ] P0 — 权限控制:管理员角色可查看全局;普通用户仅查看自身登录记录
- [ ] P0 — 审计面板集成到主系统统一门户,无需独立部署
#### FR-13.1 RKE2 集群(基础设施依赖)
---
RKE2 集群部署和配置由基础设施团队负责,平台开发团队只需确保 Wayne 能通过 Client-Go 连接各集群。核心约束:
#### 1.2 子系统对接
##### Wayne — 容器编排与多集群管理
> 底层基于 RKE2 构建七机房 K8s 集群,上层通过 Wayne 平台提供统一的容器管理入口。开发人员通过 Wayne UI 或 API 完成服务部署,无需直接操作 kubectl。
**RKE2 集群约束**(基础设施依赖):
| 约束项 | 说明 |
|--------|------|
@@ -533,152 +369,270 @@ RKE2 集群部署和配置由基础设施团队负责,平台开发团队只需
| 集群规模 | 七机房各一套独立集群 |
| 安全加固 | 已通过 CIS Benchmark,默认启用加密和审计 |
#### FR-13.2 Wayne 多集群管理
**Wayne 多集群管理**:
| 编号 | 需求描述 | 优先级 |
|------|---------|--------|
| FR-13.2.1 | 支持多集群统一管理,通过 Client-Go 连接各机房 RKE2 集群 | P0 |
| FR-13.2.2 | RBAC 权限管理,部门角色与项目角色分离(Project → Environment → Namespace 三级结构) | P0 |
| FR-13.2.3 | 提供表单式(基础模式)和 YAML/JSON 编辑(高级模式)两种 K8s 对象创建方式 | P0 |
| FR-13.2.4 | 发布历史记录与一键回滚能力 | P0 |
| FR-13.2.5 | 完整审计模块,每次操作留痕,支持自定义 Webhook 回调 | P0 |
| FR-13.2.6 | Web Shell 远程终端(基于权限校验的 Pod Exec) | P1 |
| FR-13.2.7 | 资源报表(资源使用占比、上线频次图表) | P1 |
| FR-13.2.8 | APIKey 开放接口,支持 CI/CD 流水线调用 | P0 |
| FR-13.2.9 | 认证支持 DB 内置 + LDAP 混合模式 | P0 |
| FR-13.2.10 | YAML 模板版本锁定,纳入代码仓库管理 | P1 |
**验收标准**:
- 开发人员可在 Wayne 中选择目标集群完成服务部署
- 每次部署操作有完整审计日志
- CI/CD 流水线可通过 APIKey 调用 Wayne API 触发部署
- 回滚操作可在 1 分钟内完成
- [ ] P0 — 支持多集群统一管理,通过 Client-Go 连接各机房 RKE2 集群
- [ ] P0 — RBAC 权限管理,部门角色与项目角色分离(Project → Environment → Namespace 三级结构)
- [ ] P0 — 提供表单式(基础模式)和 YAML/JSON 编辑(高级模式)两种 K8s 对象创建方式
- [ ] P0 — 发布历史记录与一键回滚能力
- [ ] P0 — 完整审计模块,每次操作留痕,支持自定义 Webhook 回调
- [ ] P1 — Web Shell 远程终端(基于权限校验的 Pod Exec)
- [ ] P1 — 资源报表(资源使用占比、上线频次图表)
- [ ] P0 — APIKey 开放接口,支持 CI/CD 流水线调用
- [ ] P0 — 认证支持 DB 内置 + LDAP 混合模式
- [ ] P1 — YAML 模板版本锁定,纳入代码仓库管理
---
### FR-14 数据库管理与 SQL 审核(CloudDM / open-cdm)
##### CloudDM / open-cdm — 数据库管理与 SQL 审核
> 覆盖数据查询、权限管控、SQL 审核、数据脱敏的全链路能力。
> 覆盖数据查询、权限管控、SQL 审核、数据脱敏的全链路能力。所有生产库 SQL 操作必须经过工单流程,无直连通道。
**目标**:所有生产库 SQL 操作必须经过工单流程,无直连通道。
| 编号 | 需求描述 | 优先级 |
|------|---------|--------|
| FR-14.1 | 支持 Console + Sidecar 集群部署模式,保证高可用 | P0 |
| FR-14.2 | 支持 20+ 数据源类型(MySQL、Oracle、PG、ClickHouse、Redis、MongoDB 等) | P0 |
| FR-14.3 | 内置 54 条 SQL 审核规则,支持规则脚本自定义扩展 | P0 |
| FR-14.4 | SQL 上线工单流程:编写 → 预检 → DBA 审核 → 执行,支持手动/立即/定时三种执行方式 | P0 |
| FR-14.5 | 权限控制:资源权限(实例/库/Schema/表粒度)+ 功能权限(RBAC),支持申请/赋予/临时权限 | P0 |
| FR-14.6 | 数据脱敏能力,对查询结果中的敏感字段进行隐藏或转换 | P1 |
| FR-14.7 | 数据库 CI/CD:支持 Git Push / WebHook / HttpCall 三种触发方式 | P1 |
| FR-14.8 | 统一认证:对接企业 LDAP | P0 |
| FR-14.9 | 全程审计留痕,工单流转记录可追溯 | P0 |
**验收标准**:
- 所有生产库 SQL 操作必须经工单流程,无直连通道
- 审核规则可按需配置白名单豁免
- 生产部署已替换默认 JWT 密钥和管理员密码
- Console 多实例部署,单实例故障不影响服务可用性
- [ ] P0 — 支持 Console + Sidecar 集群部署模式,保证高可用
- [ ] P0 — 支持 20+ 数据源类型(MySQL、Oracle、PG、ClickHouse、Redis、MongoDB 等)
- [ ] P0 — 内置 54 条 SQL 审核规则,支持规则脚本自定义扩展
- [ ] P0 — SQL 上线工单流程:编写 → 预检 → DBA 审核 → 执行,支持手动/立即/定时三种执行方式
- [ ] P0 — 权限控制:资源权限(实例/库/Schema/表粒度)+ 功能权限(RBAC),支持申请/赋予/临时权限
- [ ] P1 — 数据脱敏能力,对查询结果中的敏感字段进行隐藏或转换
- [ ] P1 — 数据库 CI/CD:支持 Git Push / WebHook / HttpCall 三种触发方式
- [ ] P0 — 统一认证:对接企业 LDAP
- [ ] P0 — 全程审计留痕,工单流转记录可追溯
---
### FR-15 缓存管理(CacheCloud)
##### CacheCloud — 缓存管理
> 支持 Standalone、Sentinel、Cluster 三种 Redis 架构的一站式管理。
> 支持 Standalone、Sentinel、Cluster 三种 Redis 架构的一站式管理。所有 Redis 场景通过 CacheCloud 统一实例申请和管理。
**目标**:所有 Redis 场景通过 CacheCloud 统一实例申请和管理。
| 编号 | 需求描述 | 优先级 |
|------|---------|--------|
| FR-15.1 | 支持三种 Redis 架构:Standalone(测试)、Sentinel(生产常规,内存 ≤ 6GB)、Cluster(大数据量,内存 > 6GB) | P0 |
| FR-15.2 | Agent 代理部署在每个宿主机上,管理 Redis 实例生命周期 | P0 |
| FR-15.3 | 接入层 Nginx 双机房部署 + Virtual IP 双向漂移,保证高可用 | P0 |
| FR-15.4 | 客户端接入支持 REST API(通用)、Java Jedis/Lettuce SDK、Python 接入 | P0 |
| FR-15.5 | 跨机房部署(Cross-Room):支持双活,客户端 SDK 自动双写双读和机房切换 | P1 |
| FR-15.6 | 运维能力:全局统计、工单审批、应用运维、实例运维、数据迁移 | P0 |
| FR-15.7 | 诊断工具:慢查询分析、连接数诊断、Bigkey 检测 | P1 |
| FR-15.8 | 报警组件:支持邮件、微信、HTTP 接口集成 | P0 |
| FR-15.9 | 临时实例自动回收策略,防止资源浪费 | P1 |
**验收标准**:
- 三种 Redis 架构均可正常创建和访问
- Agent 心跳正常,实例生命周期管理(启停、备份恢复)功能可用
- 跨机房双活场景下故障切换时间 < 30s
- [ ] P0 — 支持三种 Redis 架构:Standalone(测试)、Sentinel(生产常规,内存 ≤ 6GB)、Cluster(大数据量,内存 > 6GB)
- [ ] P0 — Agent 代理部署在每个宿主机上,管理 Redis 实例生命周期
- [ ] P0 — 接入层 Nginx 双机房部署 + Virtual IP 双向漂移,保证高可用
- [ ] P0 — 客户端接入支持 REST API(通用)、Java Jedis/Lettuce SDK、Python 接入
- [ ] P1 — 跨机房部署(Cross-Room):支持双活,客户端 SDK 自动双写双读和机房切换
- [ ] P0 — 运维能力:全局统计、工单审批、应用运维、实例运维、数据迁移
- [ ] P1 — 诊断工具:慢查询分析、连接数诊断、Bigkey 检测
- [ ] P0 — 报警组件:支持邮件、微信、HTTP 接口集成
- [ ] P1 — 临时实例自动回收策略,防止资源浪费
---
### FR-16 CD 自动化部署
##### Apollo — 配置中心管理
> 对 Apollo 配置中心进行统一接入和管理,实现在单一 Portal 管理所有机房的配置,确保配置的灰度发布、回滚与变更审计。
- [ ] P0 — 核心指标展示:已接入机房数、Apollo Cluster 数量、配置项总数、Namespace 数、接入业务线及同步状态
- [ ] P0 — 统一入口:提供 Apollo Portal 快捷入口(内部域名 `apollo.xinfra.internal`),LDAP SSO 单点登录
- [ ] P0 — 机房列表:展示每个机房的 Apollo Cluster、Config Service 地址、承载方式(容器化 K8s Service)、接入业务线和配置项数、运行状态(运行中/灰度接入/建设中/待启动)
**部署架构约束**:
- Portal + Admin Service:YZH 主中心统一部署
- Config Service:按机房独立部署(yzh/xs/jf/dallas 等),容器化运行在 K8s 内
- 数据同步:ConfigDB/PortalDB 部署在 YZH,各机房 Config Service 本地缓存全量配置,网络抖动时降级提供本地缓存
---
##### CD 自动化部署
> 通过 API 接口触发 Wayne 平台执行自动化部署,CI 部分由团队已有 CI 系统负责。
**目标**:提供 CD 部署接口,供外部 CI 系统调用触发部署。
| 编号 | 需求描述 | 优先级 |
|------|---------|--------|
| FR-16.1 | 提供 REST API 接口,供外部 CI 系统调用触发 Wayne 部署,传入镜像 tag 和目标环境 | P0 |
| FR-16.2 | 部署支持多环境(dev / staging / prod),生产环境需审批卡点 | P0 |
| FR-16.3 | 部署失败时支持自动回滚到上一个稳定版本 | P1 |
| FR-16.4 | 部署状态回调:支持 Webhook 回调通知外部 CI 系统部署结果 | P1 |
**验收标准**:
- 外部 CI 系统可通过 API 触发 Wayne 部署
- prod 环境部署必须经过审批
- 部署失败自动回滚,回滚时间 < 2 分钟
- [ ] P0 — 提供 REST API 接口,供外部 CI 系统调用触发 Wayne 部署,传入镜像 tag 和目标环境
- [ ] P0 — 部署支持多环境(dev / staging / prod),生产环境需审批卡点
- [ ] P1 — 部署失败时支持自动回滚到上一个稳定版本
- [ ] P1 — 部署状态回调:支持 Webhook 回调通知外部 CI 系统部署结果
> [!info] CI 编译构建由团队已有 CI 系统负责,本平台仅提供 CD 部署接口。
---
### FR-17 审计面板(主系统)
#### 1.3 MVP 验收标准
> 记录主系统自身的登录事件和运维操作日志,不聚合子系统操作审计。
| 编号 | 需求描述 | 优先级 |
|------|---------|--------|
| FR-17.1 | 登录审计:记录每次 LDAP SSO 登录事件(操作人、时间、来源 IP、目标子系统),支持按时间/操作人/子系统筛选查询 | P0 |
| FR-17.2 | 运维操作审计:记录主系统运维终端的操作(Ansible Playbook 执行、节点加入、配置变更等),支持按时间/操作人/操作类型筛选 | P0 |
| FR-17.3 | 安全事件面板:异常登录检测、敏感操作告警 | P1 |
| FR-17.4 | 权限控制:管理员角色可查看全局;普通用户仅查看自身登录记录 | P0 |
| FR-17.5 | 审计面板集成到主系统统一门户,无需独立部署 | P0 |
**验收标准**:
- 登录事件和运维操作实时记录,查询延迟 < 5s
- 普通用户只能看到自身登录记录,无越权
- 审计面板可从统一门户直接访问
- [ ] 多租户:新业务线可在平台自助创建,自动完成 Namespace + 标签 + Taint + ResourceQuota 配置
- [ ] 隔离:跨业务线 Pod 调度隔离验证通过
- [ ] 配额:配额超限告警正常触发
- [ ] SSO:所有已集成系统卡片正确展示,SSO 跳转正常;未接入系统标注"改造中"状态
- [ ] 审计:登录事件和运维操作实时记录,查询延迟 < 5s
- [ ] Wayne:开发人员可在 Wayne 中选择目标集群完成服务部署;CI/CD 流水线可通过 APIKey 调用 Wayne API 触发部署
- [ ] CloudDM:所有生产库 SQL 操作必须经工单流程,无直连通道
- [ ] CacheCloud:三种 Redis 架构均可正常创建和访问
- [ ] Apollo:YZH、XS 机房正式运行,JF 灰度接入;配置变更支持灰度发布和一键回滚
- [ ] CD:外部 CI 系统可通过 API 触发 Wayne 部署;prod 环境部署必须经过审批
---
## 基础设施依赖(非平台开发范围)
### Phase 2 — 完整版
以下模块由基础设施团队负责,XINFRA 平台在此基础上构建。平台开发团队需了解其约束,但不负责实施。
> 监控、配置、任务、基础服务交付的完整能力
### 自动化部署(Ansible Playbook)
#### 2.1 监控与可观测性
通过 Ansible Playbook 实现 MySQL、PostgreSQL、Redis Cluster 等中间件的自动化部署。核心要求:
##### 资源大盘
- Playbook 纳入 Git 版本管理,变更可追溯
- 使用 Ansible 模块保证幂等性
- Inventory 按环境分层管理(dev / test / prod)
> 为平台管理员及业务负责人提供跨机房、多云容器资源的全局快照与健康视图。
> [!info] 详细 Playbook 编写规范(Dry Run、Jinja2 模板等)参见运维 SOP 文档。
- [ ] P0 — 展示核心指标:RKE2 集群数量、在线机房数、节点总数及近期增量、CPU 总核数/已分配/分配率、组件实例总数及分类(MySQL、Redis、其他)、进行中的自动化任务数量
- [ ] P0 — 集群拓扑:以机房为维度,显示各机房节点池方格图(node grid),每个方格代表一台物理机/节点,颜色区分业务线(Kodo、LAS 等),空闲节点用虚线框表示
- [ ] P0 — 最近任务:列表展示最近 5 条 ansible-playbook 任务的执行状态(成功/执行中/失败)和耗时,快速跳转至任务中心
- [ ] P1 — 刷新机制:页面自动显示"最近更新于 xx 秒前",支持手动刷新
### 安全防护(WAF)
---
WAF 作为基础设施层的安全防护入口,覆盖所有对外暴露的 HTTP/HTTPS 入口。安全事件实时告警,支持与企业 IM 集成。安全日志可查询和分析,支持审计追溯。
##### 资源状态看板与告警
### 大内网互联
> 整合物理机、虚机、基础服务三层的健康状态,通过夜莺(Nightingale)统一告警引擎将多源告警标准化展示,提供自上而下的故障定位入口。
七机房之间的网络互通由网络团队负责搭建和维护。核心 SLA:同城机房间 Pod 通信延迟 < 2ms,跨机房服务调用成功率 > 99.99%。
数据源:
- 物理机硬件 & 网络设备健康:Zabbix(IPMI/温度/电源/风扇/存储)
- 虚机 & 容器 & 业务层指标:VictoriaMetrics(K8s/主机指标/服务可用性探活)
- Nightingale 作为统一告警聚合层,负责去重、收敛、分级(P0/P1/…),按 disaster/high/average 等原始级别映射,推送至 qpass 告警通道
### 监控告警基础设施
- [ ] P0 — 核心统计:物理机总数、虚机总数、基础组件实例总数;P0(Disaster)、P1(High) 及 average 级别告警数量,标注来自 Zabbix 或 VictoriaMetrics
- [ ] P0 — 物理机状态:按机房汇总在线数、健康率(带进度条),标识正常/告警/严重状态
- [ ] P0 — 虚机状态:按业务线展示 LAS 资源池中的虚机数、CPU 均值及告警状态
- [ ] P0 — 基础服务状态:覆盖 MySQL、Redis(CacheCloud)、PostgreSQL、openresty 网关等,显示实例数、异常数、可用率
- [ ] P0 — 当前告警详情:表格列出所有 P0/P1 及 average 级别的实时告警,含级别标签、来源、原始级别、目标对象、告警内容、发生时间
| 组件 | 职责 | 维护方 |
|------|------|--------|
| VictoriaMetrics | 容器/业务指标时序存储,七机房 128 节点、42.6M 活跃时序 | 基础设施团队 |
| Zabbix | 物理机硬件监控(IPMI/温度/电源/风扇/存储) | 基础设施团队 |
| Nightingale(夜莺) | 统一告警聚合引擎,接入 VM + Zabbix,去重/收敛/分级,推送至 qpass | 基础设施团队 |
| Grafana | 指标可视化,对接 VictoriaMetrics | 基础设施团队 |
| ELK | 日志收集(Filebeat → Kafka → Elasticsearch → Kibana) | 基础设施团队 |
---
##### 监控、日志与告警集成
> 集成公司现有监控与日志基础设施的状态和主要入口,方便从平台直接掌握各子系统健康度。
- [ ] P0 — VictoriaMetrics 指标概览:展示七机房采集节点数、活跃时序数量、Prometheus 接口状态、已建 Grafana 仪表盘数
- [ ] P0 — Zabbix 硬件监控:物理机监控覆盖率、当前告警数、网络设备健康度、存储健康度
- [ ] P1 — 统一日志与告警流水:以实时日志流形式展示关键系统事件(CMDB 同步、Zabbix 告警、VictoriaMetrics 抓取、ELK 日志接入、qpass 合并推送),类似运维公告板
---
#### 2.2 配置与任务管理
##### 任务中心与自动化执行
> 集中展现所有通过 xinfra 发起的 Ansible Playbook 任务或 Wayne 发布任务的执行历史,提供实时日志输出。
- [ ] P0 — 任务列表:任务状态(执行中/成功/失败)、任务名称、所用 playbook 名称或任务描述;执行中的任务高亮显示
- [ ] P0 — 实时日志:通过 WebSocket 流式输出 ansible-playbook 的执行日志,格式包含时间戳、TASK 名称和结果状态(ok/changed/failed),模拟终端输出效果,支持自动滚动
- [ ] P0 — 历史查询:任务列表支持分页,可查看过往所有任务的执行结果,便于审计和排障
---
#### 2.3 基础服务与资源管理
##### 集群与节点管理
> 管理全平台 RKE2 集群的生命周期及节点信息,支持新节点的自动加入。
- [ ] P0 — 集群列表:展示集群名称、所在机房/区域、健康状态、节点数、CPU 使用率(进度条)、RKE2 版本、Calico 配置(AS 号等);对存在告警的集群高亮提醒
- [ ] P0 — 节点列表(集群内):节点主机名、内网 IP、业务线标签(如 `business-line=kodo`)及对应 Taint、节点规格(CPU/内存)、CPU/Mem 使用率(进度条)、节点状态(Ready/资源告警/空闲)
- [ ] P0 — 节点加入向导:通过弹窗交互完成新节点加入——选择目标集群 → 输入节点 IP → 指定归属业务线(自动注入 node-label 和 taint)→ 提交后后台调用 `roles/rke2-node-join` playbook,完成内核参数初始化、containerd 安装、标签/污点写入、加入集群并等待 Ready
---
##### 资源台账管理(CMDB 多云同步)
> 以 SINA CMDB 为基础数据底座,统一纳管物理机与虚机资源,并通过阿里云、AWS、七牛 LAS 的 OpenAPI 同步云上虚机,形成全量、唯一、可追溯的资源台账。
- [ ] P0 — 资源来源统计:资源总数(物理机 + 虚机),各来源(SINA CMDB、阿里云同步、AWS 同步、七牛 LAS 同步)的数量及最近一次同步状态
- [ ] P0 — 资源台账列表:主机名、资产编号、资源类型(物理机/虚机)、机房/区域、内网 IP、规格、归属业务线、数据来源标签、生命周期状态(production/idle/retired)
- [ ] P0 — 组合筛选:支持按资源类型、数据来源、业务线、状态等条件组合筛选,以及关键字搜索
- [ ] P0 — 同步与去重策略:各云平台定时增量同步,已存在记录跳过更新(保护 CMDB 人工维护字段),不存在则新增并标记来源
- [ ] P1 — 创建虚机入口:提供"+ 创建虚机"按钮,跳转或触发七牛 LAS 平台的虚机申请/创建流程(对接 LAS API)
---
##### 服务目录管理(Consul 同步)
> 聚合各机房已有的 Consul 注册中心服务信息,提供跨机房的服务名、IP、业务标签、健康状态的统一检索视图,不改变各机房 Consul 自身的注册发现链路。
- [ ] P0 — 同步机制:定时调用各机房 Consul Catalog API(`/v1/catalog/services`、`/v1/health/service`),按 Datacenter 维度拉取全量服务并汇总入库。同步间隔采用差异化策略:国内机房(YZH/XS/JF)30 秒,海外机房(达拉斯/新加坡/香港/东南亚)根据网络延迟适当延长(建议 60-120 秒),具体间隔待实测后确定
- [ ] P0 — 服务台账:服务名、所在机房/Datacenter、业务标签、总实例数、健康实例数、示例 IP、整体健康状态
- [ ] P0 — 筛选与搜索:支持按机房、业务标签、健康状态筛选,以及服务名/IP 搜索
- [ ] P0 — 统计面板:接入 Consul Datacenter 数量、服务总数(去重)、服务实例总数、健康实例占比、最近同步状态
---
##### 基础服务目录与一键部署
> 将标准化基础组件封装为服务卡片,用户通过界面选择参数,后台调用 Ansible Playbook 自动完成部署和子系统注册。
服务卡片规格:
| 服务 | 可配参数 | 部署后自动注册 |
|------|---------|--------------|
| MySQL | 业务线、架构模式(一主两从/一主一从/单实例)、规格(CPU/内存/磁盘)、版本(8.0/5.7)、实例名称 | open-cdm 数据源 |
| Redis | 业务线、架构模式(Cluster/Sentinel/Standalone)、规格(8G/16G 等)、版本(7.2)、实例名称 | CacheCloud 应用创建 API |
| openresty | 业务线、规格、路由规则 | — |
| dpvs | 业务线、规格、负载策略 | — |
| PgSQL | 业务线、架构模式(流复制主从)、规格、版本 | open-cdm(二期) |
- [ ] P0 — 服务卡片展示:每个基础组件以卡片形式展示,点击弹出多步骤向导(基础信息 → 规格网络 → 确认部署)
- [ ] P0 — 参数预览:底部实时预览生成的 playbook 调用参数(YAML 格式)
- [ ] P0 — 自动注册:部署完成后自动调用子系统 API 完成注册(MySQL → open-cdm,Redis → CacheCloud)
- [ ] P1 — 扩展性:预留"接入新服务"卡片,允许通过封装新的 Ansible Playbook 并注册到平台扩展服务目录
---
##### 组件实例台账
> 提供所有已部署基础组件的统一台账,展示实例与子系统的关联关系,支持快速检索和运维管理。
- [ ] P0 — 列表信息:实例名、组件类型及版本、归属业务线、所在集群、运行状态、子系统注册状态(如 `open-cdm ✓`、`CacheCloud ✓` 或同步中)
- [ ] P0 — 管理操作:提供"管理"快捷操作,可跳转至对应子系统或发起运维任务
- [ ] P0 — 分页与搜索:支持按实例名称、类型等过滤,分页能力
---
#### 2.4 Phase 2 验收标准
- [ ] 资源大盘:页面加载后 3s 内展示全局指标数据;节点方格图能正确反映各业务线的资源分布
- [ ] 告警看板:告警数据与 Nightingale 实时同步,延迟 < 30s;支持按级别、来源、机房筛选告警
- [ ] 集群管理:集群列表数据实时刷新,告警集群高亮标识
- [ ] 节点加入:节点加入向导从提交到 Ready < 10 分钟
- [ ] CMDB 同步:同步后资源台账与各云平台实际资源一致,去重逻辑验证通过
- [ ] Consul 同步:7 个 Datacenter 全部接入;国内机房数据 30 秒内同步
- [ ] 基础服务部署:MySQL 一键部署单实例 < 5 分钟;Redis 一键部署 Standalone < 3 分钟
- [ ] 任务中心:执行中任务日志实时推送,延迟 < 1s
- [ ] 部署回滚:回滚操作可在 1 分钟内完成
---
### Phase 3 — 运维增强
> etcd 集群运维、高级监控、运维工具
#### 3.1 etcd 集群运维
##### etcd 集群部署(kubeadm + etcd operator)
- [ ] P0 — 集群模板:支持按规格(3/5/7 节点)、磁盘类型(NVMe/SSD)、存储配额生成部署配置
- [ ] P0 — 部署流程:调用 kubeadm init / etcd-operator API,支持滚动部署和健康检查
- [ ] P1 — 故障恢复:检测到节点故障时自动替换,数据从健康节点同步
- [ ] P1 — 滚动升级:支持 etcd 版本升级,逐节点替换并验证
- [ ] P2 — 自动扩缩:根据集群负载自动调整节点数
---
#### 3.2 高级监控
- [ ] P1 — 告警规则自定义:支持用户自定义监控告警规则
- [ ] P2 — 异常检测:基于历史数据的智能异常检测
- [ ] P2 — 容量预测:基于趋势预测资源使用峰值
---
#### 3.3 运维工具
- [ ] P2 — 可视化拓扑:服务依赖关系可视化
- [ ] P1 — 批量操作:支持批量节点管理、批量配置下发
- [ ] P2 — 运维工作流:复杂运维操作的流程编排
---
#### 3.4 Phase 3 验收标准
- [ ] etcd 部署:3 节点集群部署 < 15 分钟
- [ ] 故障恢复:节点故障后自动替换,数据不丢失
- [ ] 滚动升级:升级过程零停机
- [ ] 告警规则:用户可自定义告警规则并生效
---
@@ -805,21 +759,25 @@ WAF 作为基础设施层的安全防护入口,覆盖所有对外暴露的 HTT
---
## 一期范围与后续规划
## MVP 实现与后续规划
### 一期已实现
### MVP(当前阶段)
- 国内三大自建机房 + 阿里云华南共 4 个 RKE2 集群的纳管
- 物理机、虚机资源台账(CMDB + 阿里云/AWS/七牛 LAS 同步)
- 基础服务交付:MySQL、Redis、openresty、dpvs 一键部署
- Consul 服务目录同步与查看
- Apollo 配置中心 YZH、XS 两机房正式运行,JF 灰度接入
- 监控告警整合 Zabbix + VictoriaMetrics + Nightingale + qpass
- 任务中心实时日志
- 系统导航面板与 LDAP 单点登录
当前尚未实现任何功能,MVP 阶段目标为最小可用集:
### 后续规划(二期/三期)
- 多租户认证(LDAP + SSO)
- 子系统对接(Wayne、CloudDM、CacheCloud、Apollo)
详见 Phase 1 — MVP 章节。
### 后续规划
| 阶段 | 内容 |
|------|------|
| Phase 2 — 完整版 | 资源大盘、告警看板、集群管理、CMDB 同步、Consul 同步、基础服务部署、任务中心 |
| Phase 3 — 运维增强 | etcd 集群运维、高级监控、运维工具 |
长期演进方向:
- PgSQL 服务正式接入基础服务目录,并集成 open-cdm SQL 审核
- 海外机房(达拉斯、新加坡、香港、东南亚)Apollo Config Service 建设
- CacheCloud LDAP 接入改造完成