智谱发布AndroidGen框架：革新大语言模型Agent能力，数据稀缺场景下实现复杂任务突破

在人工智能技术迅猛发展的当下，大语言模型（LLM）在各类任务中展现出强大潜力，但在数据稀缺场景下执行复杂任务时仍面临挑战。智谱技术团队推出的AndroidGen框架，正是针对这一痛点，通过创新的数据收集与训练方式，显著增强了LLM的Agent能力，为移动智能交互领域带来新的突破。

如上图所示，图片以深蓝色为背景，搭配白色的“AndroidGen”文字和三个绿色安卓机器人图标，清晰呈现了智谱推出的AndroidGen框架的视觉形象。这一标识不仅代表着框架的技术属性，也直观体现了其专注于增强大语言模型Agent在安卓系统上能力的核心目标，为开发者和技术爱好者提供了对该框架的第一印象和品牌认知。

AndroidGen框架的核心优势在于无需人工标注轨迹即可开发高效Agent。传统的Agent训练往往依赖大量人工标注的轨迹数据，耗时费力且成本高昂。而AndroidGen通过收集人类任务轨迹，并直接基于这些轨迹训练语言模型，省去了人工标注的繁琐步骤。这一创新的数据收集与训练模式，使得在数据稀缺的情况下，也能快速构建出具备强大任务执行能力的Agent，极大降低了Agent开发的门槛。

为了实现对Agent任务执行能力的增强，AndroidGen整合了四个核心模块，分别是ExpSearch（经验搜索）、ReflectPlan（反思计划）、AutoCheck（自动检查）和StepCritic（步骤评估）。ExpSearch模块通过检索已完成的类似轨迹，让LLM进行上下文学习，帮助Agent实现从简单任务到复杂任务的泛化，就像人类借鉴过往经验解决新问题一样。ReflectPlan模块则能让Agent对当前环境进行自我反思并更新计划状态，有效增强了Agent的长期推理能力，使其在面对多步骤、长周期的任务时，能够保持清晰的思路和正确的方向。AutoCheck模块主动验证每个Agent操作的有效性，及时发现并纠正操作失误，降低了因错误操作导致任务失败的风险，如同为Agent配备了一名实时监督员。StepCritic模块将复杂任务分解为多个子目标，并对每个步骤的轨迹进行评估，为模型优化提供细粒度标签，使模型能够针对性地改进，提升整体任务执行的准确性和效率。

在技术实现上，AndroidGen构建了一个高效的数据收集管道，能够生成大量高质量的Android浏览轨迹。该数据收集流程首先进行任务制定，基于GPT-4o根据AndroidWorld中的指令生成约300条任务指令，确保任务的多样性和代表性。接着进行Agent采样，基于AndroidWorld和GPT-4o对每个任务的轨迹进行采样，模拟人类在安卓系统上的操作过程。随后，系统会详细记录每一步的环境和操作信息，构建可复现的Android导航轨迹，为后续训练提供真实可靠的数据基础。轨迹记录完成后，使用StepCritic对记录的轨迹进行评估，确保每个子目标都已完成，保证数据质量。最后进行轨迹增强，扩充高质量数据集，最终构建了一个包含1000多个轨迹的丰富数据集，为模型训练提供了充足的“养料”。

模型训练方面，AndroidGen采用LoRA技术，针对自动构建的数据集对GLM-4-9B和Llama-3-70B等模型进行微调，得到Android Agent模型。训练过程中，无需人工标注轨迹，而是将轨迹中的每一步作为独立样本进行训练，充分挖掘和利用了数据集中的信息，提高了数据的利用效率。同时，通过将规划和执行步骤混合起来进行微调，使LLM能够同时具备规划和执行的能力，实现了规划与执行的有机统一，让Agent在执行任务时更加流畅和高效。

出色的技术设计带来了显著的性能效果。在AndroidWorld基准测试中，AndroidGen框架表现亮眼，显著提升了相同基础模型Agent的能力。与M3A和SeeAct等现有方案相比，AndroidGen的性能提升更为突出。其中，AndroidGen与GPT-4o的组合平均得分达到了46.8，远超其他组合，展现出强大的协同效应。更令人瞩目的是，模型参数更小且开源的GLM-4-9B与AndroidGen结合后，平均得分超过了模型参数更大且闭源的GPT-4o与M3A的组合，这一结果充分证明了AndroidGen框架在提升模型性能方面的卓越能力，也体现了开源模型在该框架支持下的巨大潜力。

不仅在基准测试中表现优异，在更贴近真实应用场景的AitW（Android in the Wild）和八款全球流行的移动应用程序（如Google Maps、YouTube等）的评测中，AndroidGen同样展现出强大的实力。在真实设备环境中，它能够准确理解自然语言指令，并进行流畅的交互操作，充分验证了其在实际应用中的可靠性和实用性。

AndroidGen框架的应用场景十分广泛，涵盖了自动化任务处理、跨应用操作、智能导航和智能交互等多个方面。在自动化任务处理中，用户只需通过自然语言指令，Agent就可以自动完成发送邮件、设置提醒、查询信息等日常任务，极大节省了用户的时间和精力。跨应用操作方面，Agent能够在不同的应用之间进行灵活交互，例如从一个应用复制数据到另一个应用，实现数据的无缝流转和协同工作。智能导航功能让Agent可以根据用户指令在Android设备上进行精准导航，如打开特定的应用、查找文件等，为用户提供便捷的设备操作体验。在智能交互上，通过强大的自然语言理解能力，Agent能与用户进行自然、流畅的交互，根据用户的需求提供个性化的服务，打造更智能、更人性化的用户体验。