1. 架构概述与环境规划

在云计算领域，OpenStack作为开源的IaaS平台已经发展了十余年。传统部署方式下，运维团队需要手动配置数十个组件，处理复杂的依赖关系，这导致部署和维护成本居高不下。而将OpenStack部署在Kubernetes集群上，则能充分利用容器编排系统的优势，实现声明式部署和自动化运维。

1.1 为什么选择Kubernetes部署OpenStack

传统OpenStack部署面临的核心痛点包括：

• 组件耦合度高：各服务通过复杂的配置文件相互关联，修改一个参数可能影响多个组件
• 升级困难：版本升级需要逐个组件停机维护，回滚流程复杂且风险高
• 资源利用率低：静态分配的资源无法根据负载动态调整，控制平面组件常处于闲置状态
• 故障恢复慢：进程崩溃后依赖外部监控系统发现并重启

采用Kubernetes部署后，这些问题得到了系统性解决：

• 基础设施即代码：通过Helm Chart定义整个OpenStack的拓扑结构和配置，实现版本控制
• 滚动升级：Kubernetes支持分批次更新Pod，确保服务不中断
• 自动扩缩容：HPA可以根据CPU/内存使用率动态调整控制平面组件副本数
• 健康检查：Liveness Probe能自动检测并重启异常Pod，恢复时间从分钟级降至秒级

生产环境验证表明，Kubernetes部署的OpenStack控制平面，其服务可用性从传统的99.9%提升到了99.99%，运维人力成本降低了60%以上。

1.2 整体架构设计

1.2.1 逻辑架构

整个系统分为三个层次：

1. 基础设施层：物理服务器、网络设备和存储设备构成资源池
2. 编排层：Kubernetes集群负责服务调度和生命周期管理
3. OpenStack服务层：各组件以容器化方式运行在Kubernetes上

关键服务交互关系：

用户请求 → Horizon/CLI/API → Keystone认证 → 各服务API → 数据库/消息队列

1.2.2 网络架构

采用三网分离设计：

• 业务网络：承载API流量和虚拟机外部通信，需要高带宽
• 管理网络：用于集群内部通信，要求低延迟
• 存储网络：专用于存储流量，配置Jumbo Frame提升吞吐量

网络隔离带来三个主要优势：

1. 安全隔离，避免敏感管理流量暴露在业务网络
2. 性能优化，不同类型的流量可以使用不同的QoS策略
3. 故障隔离，单个网络故障不会影响整体系统运行

2. 硬件规划与资源配置

2.1 最小生产环境配置

2.1.1 控制平面节点

2.1.2 关键配置说明

• Master节点：运行Kubernetes控制平面组件，建议使用物理服务器而非虚拟机，确保etcd性能
• Worker节点：部署OpenStack API服务，内存需求较高是因为要运行多个数据库和消息队列实例
• 计算节点：需要支持硬件虚拟化（Intel VT-x/AMD-V），BIOS中必须开启相关选项
• 存储节点：如果使用Ceph替代NFS，建议至少3个节点组成存储集群

2.2 存储方案选型

生产环境推荐两种存储方案：

方案A：NFS + 本地存储

• 优点：部署简单，成本低
• 缺点：存在单点故障风险
• 适用场景：中小规模部署，预算有限

方案B：Ceph集群

• 优点：高可用，支持多副本
• 缺点：硬件要求高，运维复杂
• 配置示例：

  ceph: mon: count: 3 osd: devices: - /dev/sdb - /dev/sdc journalSize: "5120" pool: replica: 3

实测数据显示，Ceph集群在128个OSD规模下，随机读写性能比NFS高3-5倍，但延迟也相应增加20-30%

3. 网络规划与实施

3.1 详细网络划分

3.1.1 IP地址规划

3.1.2 网络性能优化

1. MTU设置：

   # 存储网络启用Jumbo Frame ip link set eth2 mtu 9000

2. 流量隔离：

   # 使用tc进行流量整形 tc qdisc add dev eth2 root handle 1: htb default 10 tc class add dev eth2 parent 1: classid 1:10 htb rate 1Gbit ceil 1Gbit

3. 网卡多队列：

   # 启用网卡多队列提升性能 ethtool -L eth2 combined 8

3.2 节点网络配置示例

3.2.1 Rocky Linux配置

# /etc/sysconfig/network-scripts/ifcfg-eth1 TYPE=Ethernet BOOTPROTO=static NAME=eth1 DEVICE=eth1 ONBOOT=yes IPADDR=172.16.20.21 NETMASK=255.255.255.0 MTU=1500

3.2.2 Ubuntu配置

# /etc/netplan/00-installer-config.yaml network: version: 2 renderer: networkd ethernets: eth1: addresses: [172.16.20.21/24] mtu: 1500

4. 软件版本与依赖管理

4.1 核心组件版本矩阵

4.2 关键依赖项处理

1. Python版本冲突：

   # 使用alternatives管理多版本Python sudo alternatives --set python /usr/bin/python3.10

2. 内核模块加载：

   # 检查KVM模块 lsmod | grep kvm # 若无输出则需要加载模块 modprobe kvm_intel

3. SELinux策略：

   # 针对Libvirt的SELinux策略 setsebool -P virt_use_nfs 1

5. 节点标签与调度策略

5.1 节点角色定义

# 标记控制平面节点 kubectl label nodes worker-{01,02,03} \ openstack-control-plane=enabled \ openstack-db-node=enabled # 标记计算节点 kubectl label nodes compute-{01,02,03} \ openstack-compute-node=enabled \ hardware-virtualization=enabled

5.2 高级调度策略

1. 反亲和性规则：

   affinity: podAntiAffinity: requiredDuringSchedulingIgnoredDuringExecution: - labelSelector: matchExpressions: - key: app operator: In values: [nova-api] topologyKey: kubernetes.io/hostname

2. 资源预留：

   resources: requests: cpu: "2" memory: 4Gi limits: cpu: "4" memory: 8Gi

6. 部署前检查清单

6.1 系统级检查

1. 硬件虚拟化支持：

   grep -E '(vmx|svm)' /proc/cpuinfo

2. 时间同步状态：

   timedatectl status chronyc sources

3. 内存分配检查：

   free -h # 确保swap未启用或swappiness=1 sysctl vm.swappiness

6.2 网络连通性测试

# 跨节点网络测试 ping -c 4 172.16.20.11 iperf3 -c 172.16.30.100 -t 30 -p 5201 # 存储网络延迟测试 ping -s 8972 -M do -c 100 172.16.30.100

6.3 存储性能基准

# NFS性能测试 dd if=/dev/zero of=/mnt/nfs/testfile bs=1G count=1 oflag=direct # 本地磁盘测试 fio --name=randwrite --ioengine=libaio --rw=randwrite --bs=4k --numjobs=4 --size=1G --runtime=60 --time_based --end_fsync=1

7. 生产环境注意事项

1. 证书管理：

   • 使用cert-manager自动签发和续期TLS证书
   • 为每个服务配置独立的证书SAN列表

2. 备份策略：

   # etcd备份 ETCDCTL_API=3 etcdctl snapshot save backup.db \ --endpoints=https://172.16.20.11:2379 \ --cacert=/etc/kubernetes/pki/etcd/ca.crt \ --cert=/etc/kubernetes/pki/etcd/server.crt \ --key=/etc/kubernetes/pki/etcd/server.key

3. 监控方案：

   • 使用Prometheus采集OpenStack和Kubernetes指标
   • Grafana仪表盘需要包含：
     • OpenStack API成功率
     • 消息队列堆积情况
     • 虚拟机启动耗时
     • 存储IOPS和延迟

4. 日志收集：

   # Loki配置示例 loki: enabled: true config: limits_config: ingestion_rate_mb: 16 ingestion_burst_size_mb: 32

在实际部署中，我们发现计算节点上的Libvirt服务对内存碎片非常敏感。建议在计算节点内核参数中添加以下优化：

# /etc/sysctl.d/10-openstack.conf vm.overcommit_memory = 1 vm.overcommit_ratio = 95 vm.dirty_ratio = 40 vm.dirty_background_ratio = 10