Kubernetes(二)—部署集群本地镜像仓库

一、为何需要本地镜像仓库？

在Kubernetes生产环境中，直接从公共镜像仓库（如Docker Hub）拉取镜像存在三大痛点：网络带宽限制导致拉取速度慢、镜像版本管理混乱、敏感镜像暴露风险。本地镜像仓库通过构建私有化存储，可实现镜像的集中管理、快速分发和安全控制。

以某金融企业案例为例，其Kubernetes集群部署在私有云环境，每日需拉取数百个镜像。使用本地仓库后，镜像拉取时间从平均3分钟缩短至8秒，同时通过镜像签名机制杜绝了恶意镜像注入风险。

二、主流镜像仓库方案对比

方案	优势	适用场景
Harbor	企业级功能完善（RBAC、审计）	中大型企业私有云环境
Nexus Repository	多格式支持（Docker/Maven）	开发测试环境
Docker Registry	轻量级部署	边缘计算/小型集群

Harbor凭借其Web界面、漏洞扫描和镜像复制功能，成为80%以上企业级Kubernetes集群的首选。其2.0+版本已原生支持Helm Chart存储，可与Kubernetes生态无缝集成。

三、Harbor部署实战（Helm方式）

1. 环境准备

# 添加Harbor Helm仓库
helm repo add harbor https://helm.goharbor.io
helm repo update
# 准备持久化存储（以NFS为例）
mkdir -p /data/harbor/{registry,chartmuseum,jobservice,database,trivy}

2. 核心配置解析

values.yaml关键配置项：

expose:
  type: ingress
  tls:
    enabled: true
    certSource: secret
    secret:
      secretName: "harbor-tls"
persistence:
  persistentVolumeClaim:
    registry:
      storageClass: "managed-nfs-storage"
      accessModes: ["ReadWriteOnce"]
      size: "50Gi"
harborAdminPassword: "Harbor12345"  # 生产环境需通过secret注入

3. 部署命令

helm install harbor harbor/harbor \
  --namespace harbor \
  --create-namespace \
  -f values.yaml \
  --set externalURL=https://harbor.example.com

4. 验证部署

# 检查Pod状态
kubectl get pods -n harbor
# 登录Harbor
docker login harbor.example.com

四、Kubernetes集群集成配置

1. 创建镜像拉取Secret

kubectl create secret docker-registry regcred \
  --namespace=default \
  --docker-server=harbor.example.com \
  --docker-username=admin \
  --docker-password=Harbor12345 \
  --docker-email=admin@example.com

2. Pod配置示例

apiVersion: v1
kind: Pod
metadata:
  name: private-nginx
spec:
  containers:
  - name: nginx
    image: harbor.example.com/library/nginx:latest
  imagePullSecrets:
  - name: regcred

3. 镜像拉取加速优化

在节点上配置/etc/docker/daemon.json：

{
  "registry-mirrors": ["https://harbor.example.com"],
  "insecure-registries": ["harbor.example.com"]  # 自签名证书场景
}

五、高可用与灾备方案

1. 多节点部署架构

采用主从复制模式，配置多个registry实例指向共享存储（如Ceph RBD）：

# values.yaml配置
replicaCount: 3
storageDriver: filesystem
filesystem:
  rootdirectory: /storage

2. 镜像备份策略

# 定期备份命令
docker run --rm \
  -v /data/harbor:/backup \
  -v /var/run/docker.sock:/var/run/docker.sock \
  osixia/docker-registry-backup:latest \
  --registry-url=harbor.example.com \
  --backup-path=/backup/harbor_$(date +%Y%m%d).tar.gz

3. 跨集群同步

配置Harbor的复制规则，实现生产集群与灾备集群的镜像同步：

{
  "name": "prod-to-dr",
  "target_registry_url": "https://harbor-dr.example.com",
  "target_registry_username": "admin",
  "target_registry_password": "DR12345",
  "trigger": {
    "type": "immediate"
  },
  "resources": [
    {
      "type": "repository",
      "pattern": "**/*"
    }
  ]
}

六、运维监控体系

1. Prometheus监控配置

# 添加ServiceMonitor
apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
  name: harbor
spec:
  selector:
    matchLabels:
      app: harbor
  endpoints:
  - port: metrics
    interval: 30s

2. 关键监控指标

指标名称	告警阈值	含义
registry_storage_used	>80%	存储空间使用率
jobservice_queue_length	>100	异步任务积压量
http_requests_total	5xx错误率>0.1%	API请求错误率

3. 日志集中分析

配置Fluent Bit收集Harbor容器日志：

# fluent-bit-configmap.yaml
[INPUT]
    Name tail
    Path /var/log/containers/*harbor*.log
    Parser docker
    Tag harbor.*
[OUTPUT]
    Name es
    Match *
    Host elasticsearch.logging.svc
    Port 9200

七、安全加固最佳实践

1. 传输层安全

• 强制HTTPS访问（配置Ingress TLS）
• 禁用HTTP端口（values.yaml中设置http.tls.enabled=true）
• 定期轮换证书（建议90天周期）

2. 访问控制

# 配置RBAC
auth:
  mode: db
  ldap:
    enabled: false
  # 配置项目级权限
  projectCreationRestriction: everyone

3. 镜像安全扫描

# 配置Trivy扫描器
trivy:
  enabled: true
  scanAllPolicy:
    severity: CRITICAL,HIGH

八、故障排查指南

1. 常见问题处理

问题1：502 Bad Gateway错误
解决方案：检查Ingress控制器日志，确认后端服务健康状态

问题2：镜像拉取401未授权
解决方案：检查Secret配置，确认镜像路径前缀（如harbor.example.com/project/image）

2. 日志分析技巧

# 获取Harbor核心组件日志
kubectl logs -n harbor --selector=app=harbor-core --tail=100
# 检查存储空间
kubectl exec -n harbor harbor-registry-0 -- df -h /storage

九、升级与维护流程

1. 版本升级路径

# 备份当前配置
helm get values harbor -n harbor > backup-values.yaml
# 执行升级（示例从2.3.3升级到2.4.1）
helm upgrade harbor harbor/harbor \
  --namespace harbor \
  -f backup-values.yaml \
  --version 2.4.1

2. 数据库迁移

# 执行数据库备份
kubectl exec -n harbor harbor-database-0 -- \
  pg_dump -U postgres -h 127.0.0.1 registry > backup.sql

十、性能优化建议

1. 存储优化

• 使用SSD存储Registry数据
• 配置storage_cache_layer提高重复拉取效率

2. 网络优化

• 在集群节点配置镜像缓存代理
• 启用HTTP/2协议加速传输

3. 资源限制

# values.yaml资源配置
resources:
  requests:
    cpu: "500m"
    memory: "512Mi"
  limits:
    cpu: "2000m"
    memory: "2Gi"

通过部署本地镜像仓库，企业可实现Kubernetes集群的镜像管理自主可控。建议每季度进行一次健康检查，包括存储空间清理、安全策略更新和性能基准测试。对于超大规模集群（1000+节点），可考虑采用分布式Registry架构实现水平扩展。