1. 项目概述当RAG遇上幻灯片解析去年参与一个金融行业知识管理系统项目时客户扔过来300多份PDF版投研报告和路演PPT要求实现像分析师一样理解幻灯片内容。传统方案要么只能检索关键词片段要么把整页文字喂给大模型导致回答偏离重点——这正是典型的信息检索断章取义痛点。RAGRetrieval-Augmented Generation智能问答系统通过分块检索上下文增强的组合拳让大模型真正理解幻灯片中的图表关系、论点逻辑等深层语义。比如某页PPT写着Q2营收增长15%传统检索可能孤立返回这个数字而RAG系统能结合前文的季度对比表格、后文的业务拆分说明生成具有业务洞察的完整回答。2. 核心架构设计2.1 多模态文档解析层幻灯片特有的混合排版格式需要特殊处理使用Unstructured库的partition_ppt模块提取文字和形状元素通过PyMuPDF获取矢量图形的位置信息对每页内容建立视觉阅读顺序的文本流重要from unstructured.partition.pptx import partition_pptx elements partition_pptx(deck.pptx) # 按y坐标排序实现从上到下阅读 elements.sort(keylambda x: x.metadata.coordinates.points[0][1])2.2 语义分块策略不同于普通文档的等长分块幻灯片需要智能切分标题正文组合为最小单元保持图表与说明文字的绑定对演讲者备注单独标记[分块示例] - 块1标题市场趋势 折线图 图注2020-2023年增长率 - 块2项目符号列表三大驱动因素 演讲者备注重点强调第二点2.3 混合检索方案结合三种检索方式提升准确率检索类型适用场景实现方式关键词检索精确匹配专业术语Elasticsearch BM25算法向量检索语义相似问题Milvus BAAI/bge-small模型结构检索定位特定图表/版块自定义位置元数据过滤3. 关键实现细节3.1 上下文窗口优化幻灯片内容常有长距离引用如参见第15页图表我们采用滑动窗口重排序当检测到跨页引用时自动将相关页块提升到prompt前部动态元数据注入为每个块添加[来自第X页][图表类型]的前缀3.2 事实校验机制针对金融场景特别设计数字抽取校验用正则捕获\d%等模式与原始文档比对声明溯源要求回答必须包含[来源第X页]标记矛盾检测当不同页数据冲突时触发人工审核4. 实战效果对比测试200页医疗行业路演PPT时传统方案准确率58%常漏掉图表关联RAG方案准确率89%完整保持论点链条典型改进案例用户问为什么说产品上市周期有优势旧系统直接返回第7页的审批周期12个月文字块RAG系统综合第7页审批流程图、第9页竞品对比表、第12页专家评述生成包含完整论证过程的回答5. 踩坑实录分块粒度过细初期把每个文本框单独分块导致回答支离破碎修复方案改用spaCy的语义分析识别逻辑段落图表丢失问题直接提取PPT文字会遗漏SmartArt内容现用方案先用python-pptx导出所有形状为图片OCR补充识别页码错乱用户上传的PDF可能缺失页码信息应对措施计算MD5哈希值建立物理页码到逻辑页码的映射表6. 进阶优化方向对于需要更高准确率的场景添加演讲视频同步分析匹配时间戳与幻灯片页引入多模态EmbeddingCLIP模型处理图表语义构建领域知识图谱显式建立概念间关系这个方案已在3家咨询公司落地平均减少分析师检索时间65%。最近我们发现用LlamaIndex的HierarchicalNodeParser处理幻灯片层级结构效果更好下个版本准备集成测试。