GUI-Act:端到端桌面操作智能体
以屏幕截图和自然语言指令为输入,端到端预测点击、双击、键盘输入、等待与终止信号,跳过中间文本推理。
采用“首帧完整编码 + 后续变化区域重编码”:未变化区域复用缓存 embedding,减少逐帧全图编码的计算开销。已完成类 Windows 桌面沙箱和数据采集管线。
VLAGUI AgentKeyframe CacheSandbox
这里集中记录论文、个人项目与知识产权。内容按类型分组,主页只负责把人带到这里。
面向数百至数万级动态工具库,提出两阶段框架:偏好条件化内容寻址门控网络构造候选算子空间,指针式自回归生成器在候选池上构建可执行 DAG。
以屏幕截图和自然语言指令为输入,端到端预测点击、双击、键盘输入、等待与终止信号,跳过中间文本推理。
采用“首帧完整编码 + 后续变化区域重编码”:未变化区域复用缓存 embedding,减少逐帧全图编码的计算开销。已完成类 Windows 桌面沙箱和数据采集管线。
将显式算子依赖与隐式资源竞争建模为时空异质图,结合图结构自学习、多尺度时间聚合与两阶段对抗训练实现异常检测。
基于决策树任务画像、GPU/CPU 双资源池亲和路由、LSTM 延迟预测并行度伸缩与负载监控告警再平衡。