1. Loki 日志系统架构解析

在生产环境中搭建日志系统时，资源消耗和运维复杂度往往是最大的痛点。Loki 采用了一种独特的设计思路：只对日志标签建立索引，而不对日志内容建立索引。这种设计带来了几个显著优势：

• 资源消耗低：相比传统 ELK 方案，Loki 的内存和 CPU 使用量可降低 50-70%
• 存储效率高：日志内容采用压缩存储，相同数据量下存储空间需求减少 60% 以上
• 查询性能好：通过标签快速定位日志范围，再在限定范围内进行内容过滤

典型的数据处理流程如下：

1. Promtail 采集节点日志，附加标签
2. 日志通过 HTTP 推送到 Loki 服务端
3. Grafana 通过 LogQL 查询语言检索日志

重要提示：标签设计是 Loki 使用的关键，不当的标签策略会导致性能急剧下降

2. 生产环境部署方案

2.1 基础环境准备

在开始部署前，需要确保以下条件：

• Kubernetes 集群版本 1.16+
• Helm 3.0+ 已安装并配置
• 可用的存储类（StorageClass）
• 至少 100GB 的持久化存储空间
• 节点间网络通畅

2.2 Helm 部署 Loki

推荐使用官方 Helm Chart 进行部署：

helm repo add grafana https://grafana.github.io/helm-charts helm repo update # 查看可用版本 helm search repo grafana/loki-stack --versions # 下载特定版本 helm pull grafana/loki-stack --version 2.10.2 --untar

国内环境建议修改 values.yaml 中的镜像地址：

image: repository: swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/grafana/loki tag: 2.6.1

完整部署命令示例：

helm upgrade --install loki ./loki-stack -n logging \ --set loki.persistence.enabled=true \ --set loki.persistence.storageClassName=nfs-client \ --set loki.persistence.size=100Gi \ --set loki.service.type=NodePort \ --set loki.service.nodePort=31000

2.3 配置检查

部署完成后，验证各组件状态：

kubectl -n logging get pods kubectl -n logging get svc

通过端口转发测试 Loki API：

kubectl -n logging port-forward svc/loki 3100:3100 curl http://localhost:3100/ready

3. Promtail 日志采集配置

3.1 Kubernetes 节点采集

对于 Kubernetes 环境，推荐使用 DaemonSet 方式部署 Promtail：

# promtail-daemonset.yaml apiVersion: apps/v1 kind: DaemonSet metadata: name: promtail namespace: logging spec: selector: matchLabels: app: promtail template: metadata: labels: app: promtail spec: containers: - name: promtail image: grafana/promtail:2.9.3 volumeMounts: - name: logs mountPath: /var/log - name: config mountPath: /etc/promtail volumes: - name: logs hostPath: path: /var/log - name: config configMap: name: promtail-config

对应的 ConfigMap 配置：

# promtail-configmap.yaml apiVersion: v1 kind: ConfigMap metadata: name: promtail-config namespace: logging data: promtail.yaml: | server: http_listen_port: 9080 grpc_listen_port: 0 clients: - url: http://loki:3100/loki/api/v1/push scrape_configs: - job_name: kubernetes-pods kubernetes_sd_configs: - role: pod pipeline_stages: - cri: {} relabel_configs: - source_labels: [__meta_kubernetes_pod_node_name] target_label: node - source_labels: [__meta_kubernetes_namespace] target_label: namespace - source_labels: [__meta_kubernetes_pod_name] target_label: pod - source_labels: [__meta_kubernetes_pod_container_name] target_label: container - action: replace replacement: $1 separator: / source_labels: - namespace - pod target_label: job - action: replace source_labels: [__meta_kubernetes_pod_uid] target_label: pod_uid - action: replace replacement: /var/log/pods/*$1/*.log separator: / source_labels: - __meta_kubernetes_pod_uid - __meta_kubernetes_pod_container_name target_label: __path__

3.2 虚拟机日志采集

对于非 Kubernetes 环境的虚拟机，可以采用二进制方式部署 Promtail：

1. 下载 Promtail 二进制：

wget https://github.com/grafana/loki/releases/download/v2.9.3/promtail-linux-amd64.zip unzip promtail-linux-amd64.zip chmod +x promtail-linux-amd64 mv promtail-linux-amd64 /usr/local/bin/promtail

2. 创建配置文件/etc/promtail/config.yaml：

server: http_listen_port: 9080 grpc_listen_port: 0 positions: filename: /var/log/promtail/positions.yaml clients: - url: http://loki-service:3100/loki/api/v1/push scrape_configs: - job_name: system static_configs: - targets: - localhost labels: job: system-logs host: ${HOSTNAME} __path__: /var/log/*.log

3. 创建 Systemd 服务：

cat > /etc/systemd/system/promtail.service <<EOF [Unit] Description=Promtail service After=network.target [Service] Type=simple User=promtail ExecStart=/usr/local/bin/promtail -config.file=/etc/promtail/config.yaml Restart=always [Install] WantedBy=multi-user.target EOF useradd --system promtail mkdir -p /var/log/promtail chown promtail:promtail /var/log/promtail systemctl daemon-reload systemctl enable --now promtail

4. Grafana 集成与查询

4.1 数据源配置

在 Grafana 中添加 Loki 数据源：

1. 导航到 Configuration → Data Sources
2. 选择 "Add data source"
3. 选择 "Loki"
4. 配置 URL 为http://loki-service:3100
5. 点击 "Save & Test"

4.2 LogQL 查询语法

Loki 使用 LogQL 进行日志查询，基本语法结构：

{label1="value1", label2=~"regex"} |= "filter text" | logfmt | line_format "{{.field}}"

常用查询示例：

1. 查询特定命名空间的日志：

{namespace="production"}

2. 过滤错误日志：

{namespace="production"} |= "error"

3. 使用正则表达式匹配：

{namespace="production"} |~ "timeout|deadline"

4. 解析 JSON 日志：

{namespace="production"} | json | status >= 500

4.3 查询优化技巧

1. 时间范围选择：对于大量日志，建议先选择较小时间范围
2. 标签过滤优先：先用标签缩小范围，再使用内容过滤
3. 使用解析器：对于结构化日志，使用json或logfmt解析器
4. 限制返回行数：在查询结尾添加limit 1000避免返回过多数据

5. 生产环境最佳实践

5.1 标签设计规范

良好的标签设计是 Loki 高效运行的关键：

• 推荐标签：

  • cluster: 集群标识
  • namespace: Kubernetes 命名空间
  • app: 应用名称
  • pod: Pod 名称
  • container: 容器名称
  • node: 节点名称
  • job: 日志任务分类

• 避免使用的标签：

  • 高基数标签（如 trace_id, user_id）
  • 频繁变化的标签值
  • 长文本内容作为标签

5.2 资源配额与限制

建议为 Loki 设置资源限制：

# values.yaml 配置示例 loki: resources: limits: cpu: 2 memory: 4Gi requests: cpu: 1 memory: 2Gi

同时配置 Loki 的限流参数：

limits_config: ingestion_rate_mb: 10 ingestion_burst_size_mb: 20 max_streams_per_user: 10000

5.3 日志保留策略

根据业务需求配置日志保留：

loki: schema_config: configs: - from: 2023-01-01 store: boltdb-shipper object_store: s3 schema: v11 index: prefix: index_ period: 24h storage_config: boltdb_shipper: active_index_directory: /var/loki/index cache_location: /var/loki/cache shared_store: s3

5.4 监控与告警

建议监控以下指标：

• Loki 日志摄入速率
• 查询延迟
• 存储使用量
• Promtail 采集延迟

示例 Prometheus 告警规则：

groups: - name: loki-alerts rules: - alert: HighLogIngestionRate expr: rate(loki_distributor_bytes_received_total[1m]) > 10000000 for: 5m labels: severity: warning annotations: summary: High log ingestion rate description: Loki is receiving logs at {{ $value }} bytes/sec

6. 常见问题排查

6.1 日志采集问题

症状：Grafana 中查不到日志

排查步骤：

1. 检查 Promtail 日志：

kubectl logs -n logging -l app=promtail

2. 验证 Promtail 配置：

kubectl exec -n logging -it promtail-pod -- cat /etc/promtail/promtail.yaml

3. 检查文件权限：

kubectl exec -n logging -it promtail-pod -- ls -l /var/log/pods

6.2 查询性能问题

症状：查询响应慢或超时

解决方案：

1. 优化查询语句，先使用标签过滤
2. 缩小时间范围
3. 检查 Loki 资源使用情况
4. 考虑增加查询前端（Query Frontend）组件

6.3 存储问题

症状：Loki 存储空间增长过快

处理方法：

1. 调整日志保留策略
2. 检查是否有异常的高日志量应用
3. 考虑使用 S3 等对象存储作为后端

7. 进阶配置

7.1 多租户支持

Loki 支持多租户隔离，需要在配置中启用：

auth_enabled: true

客户端需要在请求头中添加租户信息：

X-Scope-OrgID: tenant1

7.2 日志采样

对于高流量应用，可以配置采样：

pipeline_stages: - match: selector: '{app="high-volume"}' stages: - drop: percentage: 50 source: message

7.3 敏感信息过滤

在 Promtail 中配置敏感信息过滤：

pipeline_stages: - regex: expression: '(?P<password>\bpassword\s*=\s*)\S+' replace: '${password}******'

这套 Loki 日志解决方案经过多个生产环境验证，在保证查询效率的同时显著降低了资源消耗。关键在于合理的标签设计和资源配置，避免将 Loki 当作传统全文检索引擎使用。