资源大盘
跨机房 / 多云容器资源统一视图 · 最近更新于 12 秒前
RKE2 集群
3
3 机房在线
节点总数
128
↑ 6 本周新增
CPU 已分配
61%
2,048 / 3,360 核
组件实例
214
MySQL 38 · Redis 92 · 其他 84
进行中任务
2
1 个待关注
集群拓扑 · 按机房 / 业务线标签
IDC-华北机房46节点
IDC-华东机房52节点
阿里云-华南30节点
Kodo业务线
LAS业务线
灵矽业务线
空闲
最近任务
查看全部 →| ● 成功 | MySQL 主从部署 | 2m14s |
| ● 执行中 | RKE2 节点加入 | 38s |
| ● 成功 | Redis Cluster 部署 | 3m02s |
| ● 失败 | openresty 网关部署 | 41s |
| ● 成功 | 业务线标签同步 | 5s |
资源状态看板
物理机 / 虚机 / 基础服务状态汇总 · 夜莺（Nightingale）统一告警引擎对接 Zabbix + VictoriaMetrics · 最近更新于 18 秒前
物理机总数
186
186 / 186 监控覆盖
虚机总数（LAS）
512
↑ 14 本周新增
基础组件实例
214
MySQL 38 · Redis 92 · 其他 84
P0 / Disaster 告警
1
来自 VictoriaMetrics
P1 / High 告警
5
来自 Zabbix · 4 条 / VM · 1 条
告警来源接入 · 夜莺统一告警
Zabbix 物理机 / 硬件层
IPMI · 温度 · 电源 · 风扇
网络设备 · 存储健康度
事件级别：disaster / high / average
VictoriaMetrics 虚机 / 容器 / 业务层
K8s / 容器 / 主机指标
基础服务可用性探活
告警级别：P0 / P1 / P2
夜莺 Nightingale 统一告警引擎
按 P0/P1 或 disaster/high/average 过滤聚合
去重 · 收敛 · 分级推送
下游：qpass 统一告警通道
物理机状态 · 按机房
| 机房 | 总数 | 在线 | 健康率 | 状态 |
|---|---|---|---|---|
| YZH 机房 | 78 | 78 | 98% | ● 正常 |
| XS 机房 | 64 | 63 | 91% | ● 1 条告警 |
| JF 机房 | 22 | 22 | 100% | ● 正常 |
| 海外 IDC（4） | 22 | 21 | 86% | ● 1 条严重 |
虚机状态 · LAS 资源池
| 业务线 | 虚机数 | CPU 均值 | 状态 |
|---|---|---|---|
| Kodo | 218 | 64% | ● 正常 |
| LAS | 164 | 82% | ● 1 条告警 |
| 灵矽 | 96 | 57% | ● 正常 |
| 共享池 / 未分配 | 34 | 31% | ● 正常 |
基础服务状态汇总
| 服务类型 | 实例数 | 异常 | 可用率 | 状态 |
|---|---|---|---|---|
| MySQL | 38 | 0 | 100% | ● 正常 |
| Redis（CacheCloud） | 92 | 1 | 98.9% | ● 1 条告警 |
| PostgreSQL | 12 | 0 | 100% | ● 正常 |
| openresty 网关 | 26 | 0 | 100% | ● 正常 |
| 其他中间件 | 46 | 0 | 100% | ● 正常 |
当前告警 · P0/P1（disaster / high / average）
| 级别 | 来源 | 原始级别 | 对象 | 告警内容 | 时间 |
|---|---|---|---|---|---|
| P0 | VictoriaMetrics | disaster | sg-las-overseas-007 | 磁盘只读 / IO 错误，节点不可写 | 07:38:55 |
| P1 | Zabbix | high | yzh-las-014 | 风扇转速低于阈值（FAN_6: 1920 RPM） | 07:35:12 |
| P1 | Zabbix | high | xs-bm-291 | 电源冗余丢失（PSU2 离线） | 07:21:40 |
| P1 | VictoriaMetrics | high | redis-ads-feature-cluster-02 | 慢查询比例超阈值（>5%，持续5分钟） | 07:18:03 |
| average | Zabbix | average | overseas-dallas-idc | 专线延迟抖动超基线（WireGuard ↔ AWS US） | 07:10:22 |
| average | Zabbix | average | jf-bm-118 | CPU 温度接近阈值（76℃ / 80℃） | 06:58:47 |
集群 / 节点
按机房切分的 RKE2 集群，Calico BGP 扁平网络
| 集群 | 机房 / 区域 | 状态 | 节点 | CPU 使用 | RKE2 版本 | Calico | |
|---|---|---|---|---|---|---|---|
| rke2-bj-prod-01 | 华北 · IDC | ● 健康 | 46 | 64% | v1.28.9+rke2r1 | BGP AS64512 | |
| rke2-sh-prod-01 | 华东 · IDC | ● 健康 | 52 | 71% | v1.28.9+rke2r1 | BGP AS64513 | |
| rke2-ali-sz-01 | 阿里云 · 华南 | ● 1 节点告警 | 30 | 83% | v1.28.6+rke2r1 | BGP AS64514 |
rke2-bj-prod-01 · 节点列表（节选）
| 节点 | IP | 业务线标签 | 污点 Taint | 规格 | CPU / Mem | 状态 |
|---|---|---|---|---|---|---|
| bj-node-014 | 10.21.4.14 | business-line=kodo | kodo:NoSchedule | 64C/256G | 58% | ● Ready |
| bj-node-015 | 10.21.4.15 | business-line=kodo | kodo:NoSchedule | 64C/256G | 62% | ● Ready |
| bj-node-031 | 10.21.4.31 | business-line=las | las:NoSchedule | 32C/128G | 88% | ● 资源告警 |
| bj-node-048 | 10.21.4.48 | 未分配 | — | 32C/128G | 4% | ● Ready · 空闲 |
业务线 / 配额
LDAP 部门信息自动同步生成，节点标签 + ResourceQuota 双重隔离
| 业务线 | LDAP 部门 | 归属节点数 | CPU 配额 | 已用 | 命名空间 | 负责人 |
|---|---|---|---|---|---|---|
| kodo · Kodo业务线 | ou=kodo,dc=company,dc=com | 42 | 1,344 核 | 58% | ns-kodo-prod | 王晓东 |
| las · LAS业务线 | ou=las,dc=company,dc=com | 38 | 1,216 核 | 85% | ns-las-prod | 李雯 |
| lingxi · 灵矽业务线 | ou=lingxi,dc=company,dc=com | 26 | 832 核 | 47% | ns-lingxi-prod | 张昊 |
| ltoken · LTOKEN业务线 | ou=ltoken,dc=company,dc=com | 14 | 448 核 | 33% | ns-ltoken-prod | 陈思 |
| maas · MAAS业务线 | ou=maas,dc=company,dc=com | 8 | 256 核 | 21% | ns-maas-prod | 赵帆 |
隔离策略说明：节点标签（nodeAffinity + taints）决定 Pod 只能调度到归属业务线的物理节点上；ResourceQuota / LimitRange 在此基础上限制命名空间内的资源上限，二者结合避免单一业务线在自己的节点池内无限占用资源。
基础服务目录
点击卡片，通过封装好的 ansible-playbook 一键部署标准化基础服务
My
MySQL
一主多从，自动注册进 open-cdm 数据源，支持 LDAP 账号统一审核 SQL 上线。
roles/mysql-deployv8.0.36
Rd
Redis
支持 Standalone / Sentinel / Cluster，部署完成后自动注册进 CacheCloud。
roles/redis-deployv7.2
Or
openresty
容器化部署在 K8s 内，作为业务边缘网关，支持灰度路由配置。
roles/openresty-deployv1.25
Dp
dpvs
四层负载均衡，直接管理宿主机网络命名空间，不纳入容器编排。
roles/dpvs-deployv1.9
Pg
PgSQL
流复制主从架构，规划中 · 第二期接入 open-cdm 统一审核体系。
roles/pgsql-deploy规划中
+
接入新服务
封装新的 ansible-playbook，注册进基础服务目录
组件实例
所有基础组件实例的统一台账，关联 CMDB / 子系统注册状态
| 实例 | 类型 | 业务线 | 所在集群 | 状态 | 子系统注册 | |
|---|---|---|---|---|---|---|
| mysql-kodo-order-01 | MySQL 8.0 主从 | kodo | rke2-bj-prod-01 | ● 运行中 | open-cdm ✓ | |
| redis-las-feature-cluster | Redis Cluster | las | rke2-sh-prod-01 | ● 运行中 | CacheCloud ✓ | |
| redis-lingxi-session | Redis Sentinel | lingxi | rke2-ali-sz-01 | ● 同步中 | CacheCloud 同步中… | |
| mysql-las-billing-01 | MySQL 8.0 主从 | las | rke2-sh-prod-01 | ● 运行中 | open-cdm ✓ | |
| mysql-ltoken-account-01 | MySQL 8.0 主从 | ltoken | rke2-bj-prod-01 | ● 运行中 | open-cdm ✓ | |
| redis-maas-infer-cache-01 | Redis Standalone | maas | rke2-ali-sz-01 | ● 运行中 | CacheCloud ✓ |
共 214 条 · 每页 6 条
‹
1
2
3
…
36
›
资源管理
统一纳管物理机与虚机资源 · 基础数据来自 SINA CMDB，云上虚机由阿里云 / AWS / 七牛 LAS 增量同步回写
资源总数
658
物理机 146 · 虚机 512
SINA CMDB
368
物理机 146 · 虚机 222
阿里云同步
154
ECS · 增量同步
AWS / 七牛 LAS 同步
136
AWS 58 · 七牛 LAS 78
最近一次同步
● 正常
07:39:10 · 新增 3 条
资源台账 · 物理机 / 虚机
| 主机名 | 资产编号 | 类型 | 机房 / 区域 | 内网 IP | 规格 | 业务线 | 数据来源 | 状态 |
|---|---|---|---|---|---|---|---|---|
| xs291 | SERV00003502 | 物理机 | 华东·杭州下沙 | 10.34.37.52 | 20C/192G/13.52T | kodo | SINA CMDB | ● production |
| yzh-las-014 | SERV00004187 | 虚机 | 华北·YZH | 10.21.4.214 | 32C/128G/4.0T | las | SINA CMDB | ● production |
| jf-bm-118 | SERV00004290 | 物理机 | 华南·JF | 10.45.2.18 | 16C/64G/2.0T | lingxi | SINA CMDB | ● production |
| ali-ecs-sz-0231 | — | 虚机 | 阿里云·华南 | 172.18.4.31 | 16C/64G/500G | ltoken | 阿里云同步 | ● production |
| aws-us-i-0a13fe2 | — | 虚机 | AWS · 美国 | 10.66.2.12 | 8C/32G/200G | maas | AWS 同步 | ● production |
| sg-las-007 | SERV00004511 | 虚机 | 七牛 LAS · 新加坡 | 10.88.1.07 | 16C/64G/2.0T | las | 七牛 LAS 同步 | ● idle |
| hk-bm-001 | SERV00004602 | 物理机 | 香港 IDC | 10.90.0.11 | 8C/32G/1.0T | 未分配 | SINA CMDB | ● production |
共 658 条 · 每页 7 条
‹
1
2
3
…
94
›
同步与去重策略：SINA CMDB 作为物理机 / 虚机的基础数据底座；阿里云、AWS、七牛 LAS 的虚机资源由各云 OpenAPI 定时增量同步回写。同步时先以唯一标识（资产编号 / 实例 ID / 内网 IP）查询数据库中是否已存在记录：已存在则跳过更新，保留 CMDB 侧人工维护的字段；不存在则新增记录并标记对应数据来源（SINA CMDB / 阿里云同步 / AWS 同步 / 七牛 LAS 同步），避免重复纳管与覆盖人工修正数据。
服务管理
同步全部机房 Consul 注册中心服务目录，统一查看服务名 / 服务 IP / 业务标签 / 实例数
接入 Consul Datacenter
7
国内 3 · 海外 4
服务总数
186
去重后唯一服务名
服务实例总数
842
所有机房注册 IP 汇总
健康实例占比
98.6%
12 个实例 critical
最近同步
● 正常
07:41:05 · 间隔 30s
服务台账 · 按 Consul Datacenter 同步
| 服务名 | 机房 / Datacenter | 业务标签 | 实例数 | 健康实例 | 示例 IP | 状态 |
|---|---|---|---|---|---|---|
| kodo-gateway-svc | YZH | kodo | 12 | 12 / 12 | 10.21.4.51 | ● 健康 |
| kodo-upload-svc | XS | kodo | 10 | 10 / 10 | 10.34.37.66 | ● 健康 |
| las-search-api | XS | las | 18 | 17 / 18 | 10.34.37.20 | ● 部分异常 |
| las-order-svc | 达拉斯 IDC | las | 5 | 5 / 5 | 10.66.2.20 | ● 健康 |
| lingxi-render-svc | JF | lingxi | 6 | 6 / 6 | 10.45.2.30 | ● 健康 |
| ltoken-wallet-svc | YZH | ltoken | 8 | 8 / 8 | 10.21.4.88 | ● 健康 |
| maas-infer-svc | 新加坡 IDC | maas | 4 | 3 / 4 | 10.88.1.40 | ● 部分异常 |
共 186 条 · 每页 7 条
‹
1
2
3
…
27
›
同步方式：xinfra 定时调用各机房 Consul 集群的 Catalog API（/v1/catalog/services、/v1/health/service）按 Datacenter 维度拉取服务目录，汇总服务名、注册 IP、健康检查状态以及 Consul service tag 中携带的业务标签（kodo / las / lingxi / ltoken / maas），实现跨机房服务的统一查看与健康巡检，不改变各机房 Consul 自身的注册与发现链路。
监控 / 日志 / 告警
VictoriaMetrics 指标 · Zabbix 硬件状态 · ELK 日志中心 · 夜莺（Nightingale）统一告警引擎对接 qpass
VictoriaMetrics · 指标概览
| 七机房采集节点数 | 128 |
| 活跃时序数量 | 42.6M |
| Prometheus 接口接入 | ● 正常 |
| Grafana 仪表盘数 | 37 |
Zabbix · 硬件健康
| 物理机监控覆盖 | 186 / 186 |
| 当前告警 | ● 2 条（风扇转速异常） |
| 网络设备健康 | ● 正常 |
| 存储健康度 | ● 正常 |
日志 + 统一告警
07:39:10CMDB 采集器同步完成：xs291 · 华东-杭州下沙机房
07:38:55[Zabbix] 告警：yzh-las-014 风扇转速低于阈值（FAN_6: 1920 RPM）
07:38:02[VictoriaMetrics] 七机房抓取任务全部正常
07:35:41[ELK] sg-las-007 应用日志接入 Kafka topic：las-sg-app
07:30:00[qpass] 告警已合并推送：1 条硬件告警 + 0 条业务告警
任务中心
所有 ansible-playbook / Wayne 发布任务的执行记录与实时日志
任务列表
| ● 执行中 | RKE2 节点加入 · bj-node-061 | roles/rke2-node-join |
| ● 成功 | MySQL 主从部署 · kodo | roles/mysql-deploy |
| ● 成功 | Redis Cluster 部署 · las | roles/redis-deploy |
| ● 失败 | openresty 网关部署 | roles/openresty-deploy |
| ● 成功 | 业务线标签同步 · LDAP | internal/label-sync |
| ● 成功 | MySQL 主从部署 · ltoken | roles/mysql-deploy |
共 86 条 · 每页 6 条
‹
1
2
3
…
15
›
实时日志 · RKE2 节点加入
10:42:01PLAY [rke2-node-join] **********************
10:42:02TASK [初始化内核参数] ...
10:42:04ok: [bj-node-061]
10:42:05TASK [安装 containerd] ...
10:42:18ok: [bj-node-061]
10:42:19TASK [写入 RKE2 node-labels: business-line=kodo] ...
10:42:20changed: [bj-node-061] => labels applied
10:42:21TASK [加入集群 rke2-bj-prod-01] ...
10:42:33▌ 等待节点 Ready...
配置中心管理
Apollo 配置中心（携程开源）· 按机房部署 Config Service Cluster，Portal 统一入口管理
接入机房数
3 / 7
国内 3 已接入 · 海外 4 建设中
Apollo Cluster
7
按机房 1:1 划分
配置项总数
1,260
Namespace 38 个
接入业务线
2 / 5
kodo · las 已接入
同步状态
● 正常
最近发布 09:12:30
统一入口
AP
Apollo Portal
apollo.xinfra.internal
统一管理 7 个机房 Config Service Cluster 的配置发布、灰度、回滚与变更审计，所有机房配置项均可在此单一入口检索与编辑，发布后由各机房 Config Service 就近下发。
LDAP 原生配置接入 · 已上线
打开 Apollo Portal ↗
部署架构说明
Portal + Admin Service YZH 主中心统一部署
配置发布、权限、审计统一入口
LDAP 账号统一登录
跨机房管理所有 Cluster
Config Service 每机房独立集群
Cluster = 机房标识（yzh / xs / jf ...）
客户端就近读取，降低跨机房延迟
单机房故障不影响其他机房取配置
配置数据同步 MySQL 主从 + 缓存
ConfigDB / PortalDB 部署在 YZH
各机房 Config Service 本地缓存全量配置
网络抖动时仍可降级提供本地缓存配置
机房配置中心列表
| 机房 / 区域 | Apollo Cluster | Config Service 地址 | 承载方式 | 接入业务线 | 配置项数 | 状态 |
|---|---|---|---|---|---|---|
| YZH 机房 | cluster=yzh | config-yzh.xinfra.internal:8080 | 容器化 · K8s Service | kodo | 486 | ● 运行中 |
| XS 机房 | cluster=xs | config-xs.xinfra.internal:8080 | 容器化 · K8s Service | las | 398 | ● 运行中 |
| JF 机房 | cluster=jf | config-jf.xinfra.internal:8080 | 容器化 · K8s Service | 灵矽 | 376 | ● 灰度接入中 |
| 达拉斯 IDC | cluster=dallas | — | 容器化 · K8s Service | — | 0 | ● 建设中 |
| 新加坡 IDC | cluster=singapore | — | 容器化 · K8s Service | — | 0 | ● 建设中 |
| 香港 IDC | cluster=hk | — | 容器化 · K8s Service | — | 0 | ● 待启动 |
| 东南亚 IDC | cluster=sea | — | 容器化 · K8s Service | — | 0 | ● 待启动 |
使用说明：YZH / XS 两机房已正式运行，kodo / las 业务线配置已接入；JF 机房处于灰度接入阶段。所有机房的配置统一通过 Apollo Portal 单一入口检索、编辑与发布，发布后由对应机房 Config Service 就近下发给客户端，机房间故障隔离、互不影响。达拉斯、新加坡、香港、东南亚四个海外机房按第三期规划陆续建设 Config Service 集群，建成后接入对应业务线配置。
子系统导航
统一 LDAP 账号，点击即用免二次登录（同账号同密码）
W
Wayne
多集群发布平台
业务容器发布、命名空间与配额管理，复用 Wayne 原生多租户能力。
LDAP 原生配置接入 · 零代码
DM
open-cdm
SQL 审核与变更平台
数据库 SQL 上线统一审核，支持 LDAP 用户组到角色的自动映射。
LDAP 原生配置接入 · 零代码
CC
CacheCloud
Redis 统一管理平台
Redis 实例全生命周期管理，登录与监控运维统一入口。
LDAP 接入改造中 · 预计 3 天
QP
qpass
统一告警 / 值班平台
夜莺、Zabbix、VictoriaMetrics 告警统一收敛与值班通知，按 P0/P1 分级推送。
LDAP 原生配置接入 · 零代码
GF
Grafana
指标可视化平台
对接 VictoriaMetrics 数据源，K8s / 容器 / 业务指标统一仪表盘展示。
LDAP 原生配置接入 · 零代码
AP
Apollo
配置中心（携程开源）
统一配置管理，按机房 Cluster 隔离，支持灰度发布、版本回滚与变更审计。
LDAP 接入改造中 · 规划中