引言：当“元素属性定位”遇上“视觉语义理解”UI自动化的核心瓶颈：传统方案在界面变更时脆性断裂，而大模型方案则在性能和确定性上存在短板。二者的融合，正在重新定义底层窗口句柄捕获的技术边界。在我的上一篇文章中，有读者留言问：“UIAutomation捕获窗口句柄那么成熟了，为什么还要引入大模型？直接UIA递归遍历不香吗？”这是个好问题，也是本文要回答的核心。传统UI自动化方案（无论是RPA工具还是基于UIAutomation的自研框架）在规则确定、界面稳定的场景下确实表现优异——它们基于元素选择器（XPath、自动化Id、Name）精确定位，毫秒级响应，100%确定性执行。但当遇到以下场景时，问题就来了：界面“似曾相识”但元素属性完全不同（同一功能在不同版本软件中的UIA结构差异）多窗口层层堆叠、遮挡严重（传统方案难以区分哪个才是“当前焦点”）非标准控件（自定义绘制的按钮、Canvas渲染的图表，UIA根本抓不到）动态加载的Shadow DOM或嵌套跨进程UI（UIA树不完整或响应滞后）这正是2025-2026年间学术界和工业界共同关注的焦点。