1. Prefill与Decode阶段调度策略概述

在大规模语言模型推理过程中，Prefill（预填充）和Decode（解码）是两个核心计算阶段。Prefill阶段负责处理输入的prompt或上下文，生成初始的KV缓存；而Decode阶段则基于这些缓存逐步生成输出token。这两个阶段的计算特性和资源需求截然不同，需要针对性的调度策略来优化整体推理性能。

我在实际项目中发现，Prefill阶段通常具有以下特征：

• 计算密集型：需要完整处理整个输入序列
• 高并行度：可充分利用GPU的并行计算能力
• 内存带宽敏感：需要高效管理KV缓存的写入

而Decode阶段则表现为：

• 内存密集型：频繁读取KV缓存
• 串行依赖：每个step依赖前一步的结果
• 低计算密度：每次只处理单个token

2. 调度策略核心设计原理

2.1 计算资源分配机制

现代推理框架通常采用动态资源分配策略，我在多个项目中验证过的有效做法包括：

1. 时间片轮转调度：

def scheduler_loop(): while has_jobs(): if prefill_queue: job = prefill_queue.pop() allocate_full_gpu(job) # 全资源分配 run_prefill(job) for decode_job in decode_queue: allocate_partial_gpu(decode_job) # 分时共享 run_decode_step(decode_job)

2. 内存带宽优化策略：

• Prefill阶段优先使用HBM高带宽内存
• Decode阶段采用内存压缩技术
• 实现KV缓存的智能分页管理

2.2 典型调度模式对比

3. 主流框架源码实现解析

3.1 vLLM调度器实现

vLLM采用了创新的连续批处理技术，其核心调度逻辑在llm_engine.py中：

class LLMEngine: def _schedule(self): # Prefill优先级处理 if self.prefill_reqs: reqs = self.prefill_reqs self._run_workers( "prefill", reqs, blocks_to_swap_in=blocks_to_swap_in, blocks_to_swap_out=blocks_to_swap_out, blocks_to_copy=blocks_to_copy, ) # Decode批处理 if self.decode_reqs: self._run_workers( "decode", self.decode_reqs, )

关键设计点：

1. Prefill请求立即抢占式执行
2. Decode请求自动批处理
3. 显存管理采用paged attention机制

3.2 TensorRT-LLM调度策略

在TensorRT-LLM中，调度策略主要通过以下组件实现：

1. 执行流水线构建（builder.py）：

def build_pipeline(): # Prefill阶段配置 prefill_config = { 'max_batch_size': 8, 'enable_chunked_prefill': True, 'prefill_chunk_size': 512 } # Decode阶段配置 decode_config = { 'max_beam_width': 4, 'continuous_batching': True }

2. 资源管理器（resource_manager.cpp）：

void scheduleRequests() { // 优先处理prefill while (auto request = getNextPrefillRequest()) { executePrefill(request); } // 批量处理decode auto decodeBatch = gatherDecodeRequests(); executeDecode(decodeBatch); }

4. 性能优化实战技巧

4.1 Prefill阶段优化

1. 分块处理技术：

def chunked_prefill(input_ids, chunk_size=512): for i in range(0, len(input_ids), chunk_size): chunk = input_ids[i:i+chunk_size] process_chunk(chunk) update_kv_cache()

2. 内存访问优化：

• 使用异步DMA传输
• 采用Zig-Zag内存布局
• 实现预取策略

4.2 Decode阶段优化

1. 连续批处理实现：

class ContinuousBatching: def add_request(self, request): self.pending_queue.append(request) def process_batch(self): ready = [r for r in self.pending_queue if r.is_ready()] if ready: batch = create_batch(ready) run_decode(batch) update_all_states()

2. 关键参数调优：

• 最大批处理大小（建议值：4-16）
• KV缓存压缩率（建议值：0.7-0.9）
• 调度时间片（建议值：10-30ms）

5. 典型问题与解决方案

5.1 内存溢出问题

现象：Prefill阶段出现OOM错误

解决方案：

1. 启用分块处理：

model.set_prefill_chunk_size(256) # 减小分块大小

2. 调整内存分配策略：

export PYTORCH_CUDA_ALLOC_CONF=max_split_size_mb:32

5.2 长尾延迟问题

现象：个别请求延迟显著高于平均值

优化措施：

1. 实现优先级调度：

class PriorityScheduler: def __init__(self): self.high_prio = deque() self.low_prio = deque() def schedule(self): if self.high_prio: return self.high_prio.popleft() return self.low_prio.popleft()

2. 动态批处理大小调整：

def dynamic_batch_size(): current_latency = monitor_latency() if current_latency > threshold: return max(1, batch_size // 2) return min(max_batch, batch_size + 1)

5.3 计算资源争用

现象：Prefill和Decode互相阻塞

调优方案：

1. 设置资源配额：

# 调度器配置 resources: prefill: gpu_utilization: 70% max_duration: 100ms decode: gpu_utilization: 30% min_throughput: 100 tokens/s

2. 实现智能抢占：

void check_preemption() { if (prefill_runtime > threshold && decode_queue.size() > limit) { suspend_current_prefill(); } }

在实际部署中，我发现最有效的策略是根据工作负载特征动态调整调度参数。例如对于对话类应用，应该适当增加Decode阶段的资源配额；而对于长文本处理场景，则需要优化Prefill阶段的内存管理策略。