1. 为什么需要流批一体的大数据平台？

在传统大数据架构中，流处理和批处理往往是两个独立的系统。我们通常用Flink处理实时数据流，用Hadoop或Spark处理离线批数据。这种分离架构带来了几个显著问题：

• 数据一致性难题：同样的业务逻辑需要在流和批两个系统中分别实现，计算结果经常对不上
• 开发维护成本高：需要维护两套代码，每次业务变更都要同步修改
• 资源利用率低：批处理集群白天闲置，晚上跑批时又资源紧张
• 时效性不足：T+1的批处理模式越来越难以满足实时分析需求

我去年参与的一个零售数据分析项目就深受其害。当时用Flink实时计算GMV，用Hive离线跑报表，两边结果总是差个2-3%，团队花了大量时间排查差异原因。

2. Doris与Flink的技术特性解析

2.1 Apache Doris的核心优势

Doris作为新一代MPP分析型数据库，有几个特性特别适合流批一体场景：

1. 实时导入能力：支持Stream Load方式毫秒级数据摄入
2. 高效聚合计算：预聚合和物化视图性能比Hive快10倍以上
3. 标准SQL支持：兼容MySQL协议，学习成本低
4. 弹性扩展：在线加减节点不影响业务

实测对比：在1亿条订单数据上，相同聚合查询Doris响应时间200ms，Hive需要15秒

2.2 Flink的流批统一能力

Flink 1.12版本后真正实现了流批一体：

• 同一套API处理无界流和有界数据
• Exactly-Once语义保证数据一致性
• Checkpoint机制确保故障恢复
• 支持事件时间和处理时间两种模式

3. 架构设计与核心实现

3.1 整体架构图

[Flink实时流] --> [Kafka] --> [Flink SQL] --> [Doris] [离线数据] --> [HDFS] --> [Spark/Flink批处理] --> [Doris]

3.2 关键配置参数

在Doris端需要特别注意的配置：

# fe.conf stream_load_default_timeout_second=3600 max_broker_concurrency=8 # be.conf write_buffer_size=1073741824 # 1GB streaming_load_rpc_max_alive_time_sec=3600

3.3 Flink到Doris的实时写入

使用Flink Doris Connector的示例代码：

// 创建Doris Sink DorisSink.Builder<Order> builder = DorisSink.builder() .setFenodes("fe1:8030,fe2:8030") .setUsername("user") .setPassword("pass") .setTableIdentifier("db.orders") .setBatchSize(1000) .setBatchIntervalMs(5000); // 字段映射配置 builder.setFieldMapping("order_id=>order_id,amount=>amount"); env.fromSource(kafkaSource, WatermarkStrategy.noWatermarks(), "Kafka Source") .sinkTo(builder.build());

4. 实战中的性能优化技巧

4.1 写入性能调优

1. 批量提交：设置batch_size=5000和batch_interval_ms=3000效果最佳
2. 并行度控制：Doris FE节点数×3是最佳并行度
3. 内存调整：taskmanager.memory.process.size建议4GB以上

4.2 查询优化方案

1. 合理设计分区分桶：按天分区，按user_id分桶
2. 使用物化视图：对高频查询提前预聚合
3. 冷热数据分离：热数据放SSD，冷数据放HDD

5. 典型问题排查实录

5.1 数据延迟问题

现象：Flink作业显示正常，但Doris查询不到最新数据

排查步骤：

1. 检查Flink Checkpoint是否成功
2. 查看Doris FE日志是否有Stream Load失败
3. 验证网络连通性（telnet fe1 8030）

常见原因：

• FE节点负载过高导致Stream Load超时
• 字段类型不匹配被Doris过滤
• 网络闪断导致连接重置

5.2 内存溢出问题

报错：BE节点频繁OOM

解决方案：

1. 增加BE节点内存（mem_limit=80%）
2. 调整compaction策略（cumulative_compaction_min_deltas=5）
3. 优化导入批次大小（减少单次写入量）

6. 生产环境部署建议

6.1 硬件配置推荐

6.2 高可用方案

1. Doris集群：部署3个FE（1 Leader+2 Follower），多个BE
2. Flink集群：On YARN模式，配置Checkpoint到HDFS
3. Kafka集群：3节点，副本数=2

7. 实际业务场景案例

以电商实时大屏为例，我们实现了：

• 实时订单数据5秒内可见
• 同比环比分析同时包含实时和历史数据
• 用户行为路径实时分析
• 库存预警10秒级延迟

关键实现点：

1. 使用Flink CEP处理复杂事件
2. Doris Rollup预计算关键指标
3. 通过Flink State实现跨事件关联

这套架构上线后，数据时效性从小时级提升到秒级，资源成本反而降低了40%，因为不再需要维护两套系统。最大的收获是业务方终于相信实时数据了，不再每天问"为什么和离线报表对不上"。

在具体实施时，建议先用小流量数据验证端到端流程，重点测试故障恢复场景。我们曾经因为没模拟BE节点宕机，上线后遇到故障整个数据链路中断了2小时。现在会在预发布环境故意kill -9 BE进程来验证自动恢复能力。