当前位置:首页 > 站长资讯 > 正文内容

通义实验室开源 GUI 智能体基座模型:MAI-UI

a811625531个月前 (12-29)站长资讯8

阿里通义实验室多模态交互团队正式开源全系列 gui 智能体基础模型——mai-ui,首次在统一架构中原生融合用户界面交互、mcp 工具调用与端云协同三大核心能力,依托自主演进的数据构建管线及大规模在线强化学习技术实现深度协同优化(当前已开放 2b 与 8b 两个规模版本)。

MAI-UI 的设计目标是打造一款真正理解并可执行复杂自然语言指令、在图形用户界面(GUI)环境中自主完成端到端任务的智能 *** 。它聚焦攻克现实世界中的关键难题:跨应用无缝协作、模糊/不完整语义解析、动态人机交互反馈,以及多阶段长流程任务的精准编排与容错执行。

相较于传统 AndroidWorld 测试基准,全新 MobileWorld 评测体系具备三大显著升级:难度更高、场景更实、操作更贴近真实手机使用习惯:

平均任务步长达 27.8 步(约为 AndroidWorld 的两倍)
60% 的任务需跨越多个 App 协同完成(涵盖电商比价、出行订票、日程管理等复合型场景)
首次设立两类前沿挑战任务:

  • 交互式模糊指令任务:用户输入存在歧义或信息缺失时,模型需主动发起澄清提问,杜绝无依据臆测与幻觉输出;
  • MCP-GUI 融合任务:同步调度外部工具接口(如 GitHub、Arxiv 等)与本地 GUI 操作,推动移动端智能体迈向工业级生产力水平。

目前主流 SOTA *** 整体成功率仅为 51.7%,而端到端黑盒模型表现更弱,更高仅达 20.9%;面对 MobileWorld 新增的高阶挑战任务,多数现有 Agent 的准确率已趋近于零!

如此AI员工

国内首个全链路营销获客AI Agent

下载

相关资源直达链接:
?GitHub(MAI-UI):https://www.php.cn/link/3367366e0bff001c5cfb5aedd10d8e31
?Arxiv(MAI-UI 论文):https://www.php.cn/link/ebbd64681b7ba2379b3b4fe1ff1a2539
?GitHub(MobileWorld 评测框架):https://www.php.cn/link/e5337b6705bcd3099129719cee0d46e4
?Arxiv(MobileWorld 技术报告):https://www.php.cn/link/1049295f8ee6129ad4d8d84afac6f05f

源码获取地址:点击下载

扫描二维码推送至手机访问。

版权声明:本文由2345好导航站长资讯发布,如需转载请注明出处。

本文链接:http://2345hao.cn/blog/index.php/post/32444.html

分享给朋友:

“通义实验室开源 GUI 智能体基座模型:MAI-UI” 的相关文章

高强度竞争领域注定容不下安逸,等待敲锣的协和电子正走在掉队的路上?

高强度竞争领域注定容不下安逸,等待敲锣的协和电子正走在掉队的路上?

  扎根印制电路板技术研发二十年,专注于汽车电子、高频通讯等中高端领域的协和电子(605258)本周启动招股,下周四(11月19日)即将网上申购。   多年的沉淀,令其收获了一批优质客户。不过随着行业规模增长放缓、各类成本抬升以及行业龙头集中度提高,协和电子往日优势逐渐消退,利润水平也逐年降低,此...

手握采购、研发、销售三条“命脉” 谁是操控创耀科技命运的神秘“公司A”

手握采购、研发、销售三条“命脉” 谁是操控创耀科技命运的神秘“公司A”

  1947年,美国贝尔实验室的威廉.肖克利和他的两位助手布拉顿、巴丁,研制出了世界上第一只晶体管,为集成电路产业打开时代大门,也造就了现代信息社会的根基――“芯片”。   但是现代信息社会并不能避不开国与国之间的问题。   “芯片强则产业强,芯片兴则经济兴,没有高端芯片就没有真正的产业安全和国...

19%市占率换不来业绩体量的和林微纳 新业务0.24%市占率又该如何期待?

19%市占率换不来业绩体量的和林微纳 新业务0.24%市占率又该如何期待?

  以19%市占率位居精微屏蔽罩市场头部玩家的和林微纳,即将亮相科创板。   2021年3月9日,主要产品为微机电(MEMS)精微电子零部件的和林微纳,开启了科创板招股。公司与楼氏电子、瑞声科技、裕元电子和银河机械,一同成为精微屏蔽罩市场的主要玩家,2019年五家企业合计占到全球市场总份额的80%...

上声电子:四年净利仅剩30% 研发低产能又“空置” 三角股权难解丨

上声电子:四年净利仅剩30% 研发低产能又“空置” 三角股权难解丨

  历时四年发展,归母净利润反缩水近7成的上声电子,即将登陆科创板,寻求资本助力。   作为国内前装市场汽车声学产品方案供应商的上声电子,于2021年3月29日在科创板启动招股环节。公司计划募集4.47亿元资金,其中2.47亿元用于扩产扬声器项目,1.49亿元用于扩产汽车电子项目,剩余5000万元...

华恒生物:近半市占率的细分龙头 竟然只能“被动挨打”丨

华恒生物:近半市占率的细分龙头 竟然只能“被动挨打”丨

  全球最大的丙氨酸生产商华恒生物,即将亮相科创资本市场。   2021年4月7日,以合成生物技术为核心,主要从事氨基酸及其衍生物产品研发、生产、销售的华恒生物,于科创板开启了路演询价环节,距离正式亮相科创板仅剩一步之遥。      图/Wind   目前,华恒生物拥有接近50%的市场占有率...

瑞华泰:主业停滞、产能重研发轻、债务高筑、实控人空悬… 压力重重 何去何从?丨

瑞华泰:主业停滞、产能重研发轻、债务高筑、实控人空悬… 压力重重 何去何从?丨

  瑞华泰,一家打破“卡脖子”材料高端PI薄膜的企业,日前正在做科创资本市场的最后冲刺。   2021年4月14日,专注于高性能PI薄膜领域技术自主研发的制造商瑞华泰,已经开启路演及询价环节,距离正式科创板资本市场仅剩最后一步之遥。目前,公司已建立了完整的PI薄膜研发和产业化的核心技术体系,成功进...