中 华人民共和国国家标准 化 指 导 性 技 术 文 件
GB/Z 177.3—2026
人工智能终端智能化分级
第 3 部分 :移动终端
Intelligencegrading ofartificialintelligenceterminal—Part3: Mobileterminal
2026-04-30发布
国家市场监督管理总局国家标准化管理委员会
发 布
前 言
本文件为规范类指导性技术文件 。
本文件按照 GB/T 1. 1—2020《标准化工作导则 第 1部分 :标准化文件的结构和起草规则》的规定起草 。
本文件是 GB/Z177《人工智能终端智能化分级》的第 3部分 。GB/Z 177 已经发布了以下部分 :
— 第 1部分 :参考框架 ;
— 第 2部分 :总体要求 ;
— 第 3部分 :移动终端 ;
— 第 4部分 :微型计算机 ;
— 第 7部分 :汽车座舱 ;
— 第 8部分 :音箱 ;
— 第 9部分 :耳机 。
请注意本文件的某些内容可能涉及专利 。本文件的发布机构不承担识别专利的责任 。
本文件由全国信息技术标准化技术委员会(SAC/TC 28)提出并归 口 。
本文件起草单位 : 中国信息通信研究院 、中国电子技术标准化研究院 、中国软件评测中心(工业和信息化部软件与集成电路促进中心) 、华为终端有限公司 、OPPO 广东移动通信有限公司 、维沃移动通信有限公司 、荣耀终端股份有限公司 、小米通讯技术有限公司 、中兴通讯股份有限公司 、联想(北京)有限公司 、联通(广东)产业互联网有限公司 、中国移动通信集团终端有限公司 、中国电信股份有限公司广东研究院 、繁星智算科技(北京)有限公司 、科大讯飞股份有限公司 、广东小天才科技有限公司 、青岛海信移动通信技术有限公司 、合肥智能语音创新发展有限公司 、中国工业互联网研究院(工业和信息化部密码应用研究中心) 、工业和信息化部电子第五研究所 、中国电器科学研究院股份有限公司 、上海商汤智能科技有限公司 、蚂蚁科技集团股份有限公司 、紫光展锐(上海)科技股份有限公司 、青岛虚拟现实研究院有限公司 、联发博动科技(北京)有限公司 、先进计算与关键软件(信创)海河实验室 、深圳云天励飞技术股份有限公司 、新大陆数字技术股份有限公司 、福建亿力电力科技有限责任公司 、翱捷科技股份有限公司 、北京岱序科技有限公司 、上海文鳐信息科技有限公司 。
本文件主 要 起 草 人 : 翟 云 、陈 磊 、高 峰 、苗 力 元 、王 寒 冰 、高 歌 、刘 晓 璇 、马 子 扬 、艾 文 思 、申 武 鑫 、麦睿楷 、史浩 、康峰 、杨振宇 、高 立 发 、曹 宇 琼 、曾 勇 波 、聂 大 伟 、刘 海 涛 、王 天 祺 、张 宏 伟 、耿 琦 、周 春 波 、胡永华 、吕召彪 、高明亮 、许辉 阳 、周 婷 、甘 玉 珏 、黄 聪 、伦 恒 胜 、乔 玉 平 、叶 剑 、张 学 杰 、翟 晓 伟 、刘 如 才 、朱县亮 、杨熙 冲 、钱 晨 、林 冠 辰 、朱 勇 旭 、严 小 天 、孙 梦 梦 、许 志 伟 、王 志 芳 、蔡 春 水 、于 海 生 、李 维 成 、金太阳 、仲凯韬 。
引 言
人工智能技术的蓬勃发展 ,持续驱动新产品与新业态的涌现 ,并引领传统电子信息产品升级换代 。各类智能产品功能日益丰富 、迭代速度加快 ,为用户带来新颖的体验和显著的生产力提升 。
GB/Z177《人工智能终端智能化分级》从用户智能化体验视角给出了人工智能终端智能化能力分级测 评 要 素 与 测 试 方 法 , 以 规 范 人 工 智 能 终 端 的 生 产 、宣 传 、销 售 等 活 动 , 为 用 户 选 型 提 供 参 考 。 GB/Z177拟由九个部分构成 。
— 第 1部分 :参考框架 。 目的在于给出人工智能终端的参考框架 、分类和智能化能力要素 。
— 第 2部分 :总体要求 。 目的在于给出人工智能终端智能化能力通用等级判定和测试方法 。
— 第 3部分 :移动终端 。 目的在于给出人工智能移动终端智能化能力等级判定和测试方法 。
— 第 4部分 :微型计算机 。 目的在于给出人工智能微型计算机智能化能力等级判定和测试方法 。
— 第 5部分 : 电视接收机 。 目的在于给出人工智能电视接收机智能化能力等级判定和测试方法 。
— 第 6部分 : 眼镜 。 目的在于给出人工智能眼镜智能化能力等级判定和测试方法 。
— 第 7部分 :汽车座舱 。 目的在于给出人工智能汽车座舱智能化能力等级判定和测试方法 。
— 第 8部分 :音箱 。 目的在于给出人工智能音箱智能化能力等级判定和测试方法 。
— 第 9部分 :耳机 。 目的在于给出人工智能耳机智能化能力等级判定和测试方法 。
人工智能终端智能化分级
第 3 部分 :移动终端
1 范围
本文件提供了人工智能移动终端(以下简称 “移动终端”)智能化分级的能力指导 ,描述了相应的测试方法 。
本文件适用于指导通用型移动终端智能化分级 ,也为专用型移动终端的设计 、开发 、应用 、选型和测试提供参考 。
2 规范性引用文件
下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款 。其中 , 注 日期的引用文件 ,仅该日期对应的版本适用于本文件 ;不注日期的引用文件 ,其最新版本(包括所有的修改单)适用于本文件 。
GB/T 45288. 2—2025 人工智能 大模型 第 2部分 :评测指标与方法
GB/Z 177. 1 人工智能终端智能化分级 第 1部分 :参考框架
GB/Z 177. 2—2026 人工智能终端智能化分级 第 2部分 :总体要求
3 术语和定义
GB/T 45288. 2—2025、GB/Z177. 1、GB/Z177. 2—2026界定的以及下列术语和定义适用于本文件 。 3. 1
通用型移动终端 generalmobile terminal
能安装多种类工具 ,覆盖社交娱乐 、生活购物 、交通出行 、专业办公等 , 能在通用场景下应用的移动终端设备 。
注 : 主要包含移动通信终端和平板式计算机 。
3.2
专用型移动终端 specialized mobile terminal
只能安装专用工具 ,在专用行业领域 、特定场景下应用的移动终端设备 。
3.3
面向召回 的摘要辅助评估增 强指标 enforce Recall-Oriented Understudy for Gisting Evaluation;
enROUGE
在传统 ROUGE指标基础上 ,通过乘以基于语义相似度计算的语义判断系数 ,来同时保障摘要内
容与原文语义方向一致且 ROUGE值较高的摘要质量评估指标 。
3.4
双语评估替补增强指标 enforceBilingualEvaluation Understudy;enBLEU
在传统 BLEU指标基础上 ,通过乘以基于语义相似度计算的语义判断系数 ,来同时保障翻译内容
与原文语义方向一致且 BLEU值较高的翻译质量评估指标 。
4 缩略语
下列缩略语适用于本文件 。
BLEU :双语评估替补(BilingualEvaluation Understudy)
MB:兆字节(MegaByte)
ROUGE:面向召回的摘要辅助评估指标(Recall-Oriented Understudy for Gisting Evaluation)
5 关键能力
5. 1 概述
根据移动终端完成功能范围内各类任务的智能化水平及用户在任务执行过程中的参与程度 ,将移动终端智能化水平划分为 1 级 (L1) ~ 3 级 (L3) ,等级越高 ,表明其智能化水平越高 。高等级能力涵盖全部低等级能力 ,如 L3级移动终端需同时涵盖 L1级和 L2级的所有关键能力 。
本文件关键能力要素参考 GB/Z 177. 1 和 GB/Z 177. 2—2026。
移动终端的智能化等级由端侧能力与端云协同能力两部分组成 。
a) 端侧能力是指移动终端依托自身的计算 、存储和传感器等本地资源 ,在本地完成部分感知 、认知 、执行 、记忆和学习的服务能力 。
b) 端云协同能力是指移动终端在端侧能力的基础上 ,结合边缘侧或云侧计算资源 , 通过协同调度与信息交换 ,完成需强认知与复杂决策处理的复合任务的能力 。
5.2 端侧能力
5.2. 1 L1响应级
5.2. 1. 1 感知
5.2. 1. 1. 1 用户信息感知
应具备感知用户输入内容的能力 ,如文字 、图片 、音频 、视频等 。
5.2. 1. 1.2 设备信息感知
设备信息感知能力包括 :
a) 应具备感知终端硬件状态能力 ,如处理器 、存储器 、外部通信接口等 ;
b) 应具备感知终端软件信息能力 ,如已安装软件的列表 、权限配置 、运行状态等 。
5.2. 1. 1.3 环境信息感知无要求 。
5.2. 1.2 认知
5.2. 1.2. 1 理解
应具备理解用户简单指令的能力 。
5.2. 1.2.2 推理无要求 。
5.2. 1.2.3 规划无要求 。
5.2. 1.3 执行
5.2. 1.3. 1 工具调用
应具备调用确定性工具完成单步骤任务的能力 。
5.2. 1.3.2 内容生成
无要求 。
5.2. 1.3.3 互联协同
无要求 。
5.2. 1.3.4 表达输出
应具备通过图像 、音频 、文字等输出方式向用户反馈任务执行状态与结果的能力 。
5.2. 1.4 记忆无要求 。
5.2. 1.5 学习无要求 。
5.2.2 L2工具级
5.2.2. 1 感知
5.2.2. 1. 1 用户信息感知
用户信息感知能力包括 :
a) 应具备感知用户输入内容的能力 ,如文字 、图片 、音频 、视频等 ;
b) 应具备感知用户生物特征或行为特征的能力 ,如人脸 、指纹 、情绪 、状态等 。
5.2.2. 1.2 设备信息感知
设备信息感知能力包括 :
a) 应具备感知终端硬件状态的能力 ,如存储器 、电量等 ;
b) 应具备感知终端软件信息的能力 ,如已安装软件的列表 、权限配置 、运行状态等 ;
c) 应具备感知外联设备信息的能力 ,如外联设备的类型 、运行状态等 。
5.2.2. 1.3 环境信息感知
应具备感知环境信息的能力 ,如环境光 、地理位置 、声源方向等 。
5.2.2.2 认知
5.2.2.2. 1 理解
应具备理解用户简单指令的能力 。
5.2.2.2.2 推理无要求 。
5.2.2.2.3 规划无要求 。
5.2.2.3 执行
5.2.2.3. 1 工具调用
应具备调用确定性工具完成单步骤任务的能力 。
5.2.2.3.2 内容生成
应具备基于用户提示生成文本 、图片或音频等至少 1种模态的内容的能力 。
5.2.2.3.3 互联协同
无要求 。
5.2.2.3.4 表达输出
应具备通过图像 、音频 、文字等输出方式向用户反馈任务执行状态与结果的能力 。
5.2.2.4 记忆无要求 。
5.2.2.5 学习无要求 。
5.2.3 L3辅助级
5.2.3. 1 感知
5.2.3. 1. 1 用户信息感知
用户信息感知能力内容包括 :
a) 应具备感知用户输入内容的能力 ,如文字 、图片 、音频 、视频等 ;
b) 应具备感知用户生物特征或行为特征的能力 ,如人脸 、指纹 、情绪 、状态等 。
5.2.3. 1.2 设备信息感知
设备信息感知能力包括 :
a) 应具备感知终端硬件状态的能力 ,如存储器 、电量等 ;
b) 应具备感知终端软件信息的能力 ,如已安装软件的列表 、权限配置 、运行状态等 ;
c) 应具备感知外联设备信息的能力 ,如外联设备的类型 、运行状态等 。
5.2.3. 1.3 环境信息感知
应具备感知环境信息的能力 ,如环境光 、地理位置 、声源方向等 。
5.2.3.2 认知
5.2.3.2. 1 理解
应具备理解用户简单指令的能力 。
5.2.3.2.2 推理无要求 。
5.2.3.2.3 规划无要求 。
5.2.3.3 执行
5.2.3.3. 1 工具调用
工具调用能力包括 :
a) 应具备调用确定性工具完成单步骤任务的能力 ;
b) 应具备调用确定性组合工具完成预设且明确的多步骤任务的能力 。
5.2.3.3.2 内容生成
应具备生成符合用户需求的摘要或翻译内容的能力 , 出词速度大于 20字/s,摘要 enROUGE-L不小于 0. 40或翻译 enBLEU不小于 0. 40。
5.2.3.3.3 互联协同
无要求 。
5.2.3.3.4 表达输出
应具备通过图像 、音频 、文字等输出方式向用户反馈任务执行状态与结果的能力 。
5.2.3.4 记忆无要求 。
5.2.3.5 学习无要求 。
5.3 端云协同能力
5.3. 1 L1响应级
5.3. 1. 1 感知
5.3. 1. 1. 1 用户信息感知
应具备感知用户输入内容的能力 ,如文字 、图片 、音频 、视频等 。
5.3. 1. 1.2 设备信息感知
设备信息感知能力包括 :
a) 应具备感知终端硬件状态的能力 ,如处理器 、存储器 、外部通信接口等 ;
b) 应具备感知终端软件信息的能力 ,如已安装软件的列表 、权限配置 、运行状态等 。
5.3. 1. 1.3 环境信息感知无要求 。
5.3. 1.2 认知
5.3. 1.2. 1 理解
应具备理解用户简单指令且支持用户使用简单指令发起工具调用任务的能力 。
5.3. 1.2.2 推理无要求 。
5.3. 1.2.3 规划无要求 。
5.3. 1.3 执行
5.3. 1.3. 1 工具调用
应具备调用确定性工具完成单步骤任务的能力 。
5.3. 1.3.2 内容生成
应具备生成文本 、图片或音频等不少于 1种模态的内容 。
5.3. 1.3.3 互联协同
无要求 。
5.3. 1.3.4 表达输出
应具备通过图像 、音频 、文字等输出方式向用户反馈任务执行状态与结果的能力 。
5.3. 1.4 记忆无要求 。
5.3. 1.5 学习无要求 。
5.3.2 L2工具级
5.3.2. 1 感知
5.3.2. 1. 1 用户信息感知
用户信息感知能力包括 :
a) 应具备感知用户输入内容的能力 ,如文字 、图片 、音频 、视频等 ;
b) 应具备感知用户生物特征或行为特征的能力 ,如人脸 、指纹 、情绪 、状态等 。
5.3.2. 1.2 设备信息感知
设备信息感知能力包括 :
a) 应具备感知终端硬件状态的能力 ,如处理器 、存储器 、外部通信接口等 ;
b) 应具备感知终端软件信息的能力 ,如已安装软件的列表 、权限配置 、运行状态等 ;
c) 应具备感知外联设备信息的能力 ,如外联设备的类型 、运行状态等 。
5.3.2. 1.3 环境信息感知
应具备感知环境信息的能力 ,如环境光 、地理位置 、声源方向等 。
5.3.2.2 认知
5.3.2.2. 1 理解
通用型移动终端理解能力包括 :
a) 应具备理解用户简单指令且支持用户使用简单指令发起工具调用任务的能力 ;
b) 应具备理解用户复杂指令且支持用户使用复杂指令发起工具调用任务的能力 ;
c) 应具备理解用户简单意图且支持用户使用简单意图发起工具调用任务的能力 ;
d) 当用户意图不明确时 ,应具备通过追问 、提供选项 、调用感知和记忆能力等方式进行意图澄清的能力 。
5.3.2.2.2 推理
应具备基于当前的会话上下文进行简单的链式推理的能力 。
5.3.2.2.3 规划无要求 。
5.3.2.3 执行
5.3.2.3. 1 工具调用
工具调用能力包括 :
a) 应具备调用确定性工具完成单步骤任务的能力 ;
b) 应具备调用工具执行明确的多步骤任务的能力 。
5.3.2.3.2 内容生成
应具备生成文本 、图片或音频等不少于 2种模态的内容 。
注 : 专用型移动终端可适当裁剪模态生成数量 。
5.3.2.3.3 互联协同
应具备对外部设备进行控制的能力 。
5.3.2.3.4 表达输出
应具备通过图像 、音频 、文字等输出方式向用户反馈任务执行状态与结果的能力 。
5.3.2.4 记忆
5.3.2.4. 1 短期记忆
应具备对单个会话上下文内容的记忆能力 。
5.3.2.4.2 长期记忆
无要求 。
5.3.2.5 学习无要求 。
5.3.3 L3辅助级
5.3.3. 1 感知
5.3.3. 1. 1 用户信息感知
用户信息感知能力包括 :
a) 应具备感知用户输入内容的能力 ,如文字 、图片 、音频 、视频等 ;
b) 应具备感知用户生物特征或行为特征的能力 ,如人脸 、指纹 、情绪 、状态等 。
5.3.3. 1.2 设备信息感知
设备信息感知能力包括 :
a) 应具备感知终端硬件状态的能力 ,如存储器 、电量等 ;
b) 应具备感知终端软件信息的能力 ,如已安装软件的列表 、权限配置 、运行状态等 ;
c) 应具备感知外联设备信息的能力 ,如外联设备的类型 、运行状态等 。
5.3.3. 1.3 环境信息感知
应具备感知环境信息的能力 ,如环境光 、地理位置 、声源方向等 。
5.3.3.2 认知
5.3.3.2. 1 理解
理解能力包括 :
a) 应具备理解用户简单指令且支持用户使用简单指令发起工具调用任务的能力 ;
b) 应具备理解用户复杂指令且支持用户使用复杂指令发起工具调用任务的能力 ;
c) 应具备理解用户简单意图且支持用户使用简单意图发起工具调用任务的能力 ;
d) 应具备理解用户复杂意图且支持用户使用复杂意图发起工具调用任务的能力 ;
e) 应具备对多种感知信息进行融合理解的能力 ;
f) 当用户意图不明确时 ,应具备通过追问 、提供选项 、调用感知和记忆能力等方式进行意图澄清的能力 。
5.3.3.2.2 推理
推理能力包括 :
a) 应具备基于当前会话上下文进行简单链式推理的能力 ;
b) 应具备综合不同来源和类型的信息进行复杂链式推理的能力 。
5.3.3.2.3 规划
规划能力包括 :
a) 应具备将多步骤任务分解为可执行子任务的能力 ;
b) 应具备对分解后的子任务编排合理的执行序列的能力 。
5.3.3.3 执行
5.3.3.3. 1 工具调用
工具调用能力包括 :
a) 应具备调用确定性工具完成单步骤任务的能力 ;
b) 应具备调用工具执行明确的多步骤任务的能力 ;
c) 应具备依据规划结果 , 自动调用适当的工具 ,通过多步骤执行完成任务的能力 。
5.3.3.3.2 内容生成
应具备生成文本 、图片或音频等不少于 3种模态内容的能力 。
注 : 专用型移动终端可适当裁剪模态生成数量 。
5.3.3.3.3 互联协同
互联协同能力包括 :
a) 应具备对外部设备进行控制的能力 ;
b) 应具备实现跨设备的内容迁移的能力 。
5.3.3.3.4 表达输出
应具备通过图像 、音频 、文字等输出方式向用户反馈任务执行状态与结果的能力 。
5.3.3.4 记忆
5.3.3.4. 1 短期记忆
应具备对单个会话上下文内容的记忆能力 。
5.3.3.4.2 长期记忆
应具备对用户基本信息 、工具偏好 、对话历史 、常去地点 、日程与待办任务 、终端使用习惯等不少于3种信息内容的长期记忆能力 。
5.3.3.5 学习
5.3.3.5. 1 情境适应学习
应具备在单次会话内 ,依据上下文或用户示例 ,动态调整并优化输出内容的能力 。
5.3.3.5.2 持续演进学习无要求 。
6 等级判定
移动终端的智能化等级判定按照 GB/Z 177. 2—2026 中符合性判定法开展 。依据委托方申请的 目标智能化等级与本文件中对该等级所规定的关键能力 ,选取不少于 3 项典型测试场景和不少于 80%的对应级别难度工具调用任务进行场景化测试 ,并且覆盖所有关键能力要求 。 每个场景验证其关联的关键能力 ,若有些关键能力无法覆盖 ,则使用对应能力的测试方法进行测试 ,参考测试方法按照附录 A。典型测试场景示例及该示例中对应覆盖的关键能力见附录 B,通用型移动终端工具调用任务示例及难度对应关系见附录 C。
若委托方认为本文件中的场景与产品定位不匹配 , 可参考附录 B 自行制定测试场景 , 自行制定的测试场景应经过测试机构的评审 , 同时应覆盖对应等级的所有能力 。
附 录 A (规范性)测试方法
A. 1 总则
A. 1. 1 测试方法结合附录 B 中的场景任务进行能力测试 ,测试人员依据 GB/Z 177. 2—2026 中 9. 1 测试原则结合附录 C设计测试用例 ,移动终端在规定时间(若场景未注明则默认规定时间为 5 min) 内完成场景任务 、达到预期结果 ,视为对应能力完成 。每个测试用例最多 3 次测试机会 ,若 3 次测试失败则该用例不通过 。其中 ,受客观原因(如终端低电量弹窗 、验证码弹窗 、定位获取弹窗 、系统崩溃 、网络中断等情况)导致任务中断不计入测试失败次数 。
A. 1.2 通用型移动终端端云协同能力测试以智能助手作为测试入 口 , 同时安装必要应用 。专用型移动终端以系统应用作为测试入 口 。
A. 1.3 被测设备 :端侧能力在终端不连接互联网状态下进行测试 ; 端云协同能力在终端连接互联网状态下进行测试 ;测试 前 安 装 必 要 软 件 , 开 启 送 话 器 、摄 像 头 、定 位 等 并 录 入 测 试 过 程 所 需 的 用 户 基 本信息 。
A. 1.4 测试环境包含如下内容 :
— 环境温度 :15 ℃ ~ 35 ℃ ;
— 相对湿度 :20% ~ 75% ;
— 大气压力 :86kPa~ 106kPa;
— 环境光照 :室内 :300 lx~ 1 000 lx;室外 :5 000 lx~ 10 000 lx;
— 环境噪声 :低于 55 dB。
A.2 端侧能力测试方法A.2. 1 L1响应级
A.2. 1. 1 感知能力
A.2. 1. 1. 1 用户信息感知
采用场景化测试方法 ,在能覆盖该能力的测试场景中通过对应测试项(见表 B. 2 的测试项 6)验证移动终端对用户输入信息的感知能力 :
a) 采用文字 、语音等方式向移动终端输入 ;
b) 通过验证移动终端能否正确执行操作的方式 ,验证每条输入信息是否正确感知 。
A.2. 1. 1.2 设备信息感知
采用场景化测试方法 ,在能覆盖该能力的测试场景中通过对应测试项(见表 B. 2 的测试项 2)验证移动终端对设备信息的感知能力 :
a) 查看移动终端存储器 、电量等信息变化时 ,移动终端能否显示相应变化 ,在极端情况下是否会给出提示 ;
b) 查看移动终端能否展示完整的已安装软件的列表 ,是否支持软件的权限配置 ,能否查看软件运行状态 。
A.2. 1. 1.3 环境信息感知不涉及 。
A.2. 1.2 认知能力
A.2. 1.2. 1 理解
采用场景化测试方法 ,在能覆盖该能力的测试场景中通过对应测试项(见表 B. 2 的测试项 6)验证移动终端对简单指令的理解能力 :
a) 输入简单指令语句 ;
b) 通过验证移动终端能否正确执行简单指令操作的方式 ,验证每条指令是否正确理解 。
A.2. 1.2.2 推理
不涉及 。
A.2. 1.2.3 规划
不涉及 。
A.2. 1.3 执行能力
A.2. 1.3. 1 工具调用
采用场景化测试方法 ,在能覆盖该能力的测试场景中通过对应测试项(见表 B. 2 的测试项 6)验证移动终端对单步骤任务的执行能力 :
a) 输入任务指令 ;
b) 通过验证移动终端能否正确执行操作的方式 ,验证工具调用是否正确 。
A.2. 1.3.2 内容生成
不涉及 。
A.2. 1.3.3 互联协同
不涉及 。
A.2. 1.3.4 表达输出
采用场景化测试方法 ,在能覆盖该能力的测试场景中通过对应测试项(见表 B. 2 的测试项 6)验证移动终端对执行结果的表达输出能力 :
a) 输入任务指令或意图 ;
b) 通过验证移动终端表达输出的方式 ,验证移动终端能否通过声音 、文字或画面显示任务执行结果 , 当任务无法执行时能否显示故障提示 。
A.2. 1.4 记忆能力
A.2. 1.4. 1 短期记忆
不涉及 。
A.2. 1.4.2 长期记忆
不涉及 。
A.2. 1.5 学习能力
A.2. 1.5. 1 情境适应学习不涉及 。
A.2. 1.5.2 持续演进学习不涉及 。
A.2.2 L2工具级
A.2.2. 1 感知能力
A.2.2. 1. 1 用户信息感知
采用场景化测试方法 ,在能覆盖该能力的测试场景中通过对应测试项(见表 B. 2 的测试项 1)验证移动终端对用户输入信息 、用户生物特征信息的感知能力 :
a) 采用文字 、语音等方式向移动终端输入 ;
b) 通过验证移动终端执行操作的方式 ,验证每条指令的感知结果 ,例如查看移动终端能否通过用户指纹或人脸进行解锁 、能否通过语音唤醒终端助手或能否根据用户不同行为做出对应调整 。
A.2.2. 1.2 设备信息感知
采用场景化测试方法 ,在能覆盖该能力的测试场景中通过对应测试项(见表 B. 2 的测试项 2)验证移动终端对设备软件 、硬件信息以及互联设备的感知能力 :
a) 查看移动终端存储器 、电量等信息变化时 ,移动终端能否显示相应变化 ,在极端情况下是否会给出提示 ;
b) 查看移动终端能否展示完整的已安装软件的列表 ,是否支持软件的权限配置 ,能否查看软件运行状态 ;
c) 启动移动终端和外联设备的通信方式 ,连接其他移动终端 、耳机等外设 ,查看移动终端能否感知互联设备 ,接收外设数据或设备状态 。
A.2.2. 1.3 环境信息感知
采用场景化测试方法 ,在能覆盖该能力的测试场景中通过对应测试项(见表 B. 2 的测试项 3)验证移动终端对环境信息的感知能力 :
a) 设置环境因素(如环境光 、地理位置 、声源位置)变化 ;
b) 查看移动终端能否做出相应变化 。
A.2.2.2 认知能力
A.2.2.2. 1 理解
测试方法同 A. 2. 1. 2. 1。
A.2.2.2.2 推理
不涉及 。
A.2.2.2.3 规划
不涉及 。
A.2.2.3 执行能力
A.2.2.3. 1 工具调用
测试方法同 A. 2. 1. 3. 1。
A.2.2.3.2 内容生成
采用场景化测试方法 ,在能覆盖该能力的测试场景中通过对应测试项(见表 B. 3 的测试项 1、表 B. 4的测试项 1)验证移动终端内容生成能力 :
a) 输入内容生成任务提示词 ;
b) 查看移动终端能否根据提示词生成对应内容 。
A.2.2.3.3 互联协同
不涉及 。
A.2.2.3.4 表达输出
测试方法同 A. 2. 1. 3. 4。
A.2.2.4 记忆能力
A.2.2.4. 1 短期记忆
不涉及 。
A.2.2.4.2 长期记忆
不涉及 。
A.2.2.5 学习能力
A.2.2.5. 1 情境适应学习不涉及 。
A.2.2.5.2 持续演进学习不涉及 。
A.2.3 L3辅助级
A.2.3. 1 感知能力
A.2.3. 1. 1 用户信息感知 测试方法同 A. 2. 2. 1. 1。
A.2.3. 1.2 设备信息感知 测试方法同 A. 2. 2. 1. 2。
A.2.3. 1.3 环境信息感知 测试方法同 A. 2. 2. 1. 3。
A.2.3.2 认知能力
A.2.3.2. 1 理解
测试方法同 A. 2. 1. 2. 1。
A.2.3.2.2 推理
不涉及 。
A.2.3.2.3 规划
不涉及 。
A.2.3.3 执行能力
A.2.3.3. 1 工具调用
采用场景化测试方法 ,在能覆盖该能力的测试场景中通过对应测试项(见表 B. 3 的测试项 3、表 B. 4的测试项 3)验证移动终端单步骤任务和多步骤任务的执行能力 :
a) 输入任务指令或意图 ;
b) 通过验证移动终端能否正确执行操作的方式 ,验证单步骤和多步骤任务工具调用是否正确 。 A.2.3.3.2 内容生成
采用场景化测试方法 ,在能覆盖该能力的测试场景中通过对应测试项(见表 B. 3 的测试项 2、表 B. 4的测试项 2)验证移动终端内容生成能力 :
a) 输入待摘要或翻译的内容 ,完善必要信息 ,查看移动终端能否根据用户需求完成中文摘要 、英译中任务 ;
b) 对比生成内容与原文内容给出生成质量系数 α(与原文内容有较大差异时系数为 0, 与原文内容意思基本一致时系 数 为 1) , 根 据 公 式 (A. 1)计 算 出 词 速 度 (v) , 根 据 公 式 (A. 2)计 算 摘 要enROUGE-L值 ,根据公式(A. 4)计算翻译 enBLEU值 ,计算结果保留 4位小数 。
v … … … … … … … … ( A. 1 )
式中 :
v — 出词速度 ;
N — 终端生成的字数 ;
T1 — 终端反馈完整生成内容的时间 ;
T2 — 终端接收到完整内容的时间 。
enROUGE-Lm × ROUGE-Lm … … … … … … … … 式中 :
M — 测试样本条数 ;
αm — 第 m 个测试样本生成质量系数 ;
ROUGE-Lm — 第 m 个测试样本摘要质量评估指标 ,计算方式见公式(A. 3) 。
式中 :
C — 生成摘要结果 ;
R — 标准摘要 ;
LCS( * , * ) — 在生成摘要和标准摘要中 ,不要求连续但顺序一致的最长词语子序列 ;
len( * ) — 词语总数 。
enBLEUm X BLEUm … … … … … … … … ( A. 4 )
式中 :
M — 测试样本条数 ;
αm — 第 m 个测试样本生成质量系数 ;
BLEUm — 按照 GB/T 45288. 2—2025 中 A. 1. 5计算第 m 个测试样本的 BLEU值 。
A.2.3.3.3 互联协同
不涉及 。
A.2.3.3.4 表达输出
测试方法同 A. 2. 1. 3. 4。
A.2.3.4 记忆能力
A.2.3.4. 1 短期记忆
不涉及 。
A.2.3.4.2 长期记忆
不涉及 。
A.2.3.5 学习能力
A.2.3.5. 1 情境适应学习不涉及 。
A.2.3.5.2 持续演进学习不涉及 。
A.3 端云协同能力测试方法
A.3. 1 L1响应级
A.3. 1. 1 感知能力
A.3. 1. 1. 1 用户信息感知
采用场景化测试方法 ,在能覆盖该能力的测试场景中通过对应测试项(见表 B. 6 的测试项 1)验证移动终端对用户输入信息的感知能力 :
a) 采用文字 、语音等方式向移动终端输入 ;
b) 通过验证移动终端能否正确执行操作的方式 ,验证每条输入信息是否正确感知 。
A.3. 1. 1.2 设备信息感知 测试方法同 A. 2. 1. 1. 2。
A.3. 1. 1.3 环境信息感知不涉及 。
A.3. 1.2 认知能力
A.3. 1.2. 1 理解
采用场景化测试方法 ,在能覆盖该能力的测试场景中通过对应测试项(见表 B. 6 的测试项 1)验证移动终端对简单指令的理解能力 :
a) 输入 L1级难度任务简单指令语句(L1级难度任务见附录 C) ;
b) 通过验证移动终 端 执 行 操 作 的 方 式 , 结 合 工 具 调 用 执 行 结 果 判 断 每 条 指 令 和 意 图 的 理 解 结果 ,查看 L1级难度工具调用任务能否闭环执行 。
A.3. 1.2.2 推理
不涉及 。
A.3. 1.2.3 规划
不涉及 。
A.3. 1.3 执行能力
A.3. 1.3. 1 工具调用
采用场景化测试方法 ,在能覆盖该能力的测试场景中通过对应测试项(见表 B. 6 的测试项 1)验证移动终端对单步骤任务的执行能力 :
a) 输入 L1级难度任务简单指令语句(L1级难度任务见附录 C) ;
b) 查看移动终端能否根据简单指令完成 L1级难度工具调用任务 。
A.3. 1.3.2 内容生成
采用场景化测试方法 ,在能覆盖该能力的测试场景中通过对应测试项(见表 B. 9 的测试项 1)验证移动终端内容生成能力 :
a) 分别输入生成文本 、图片或音频内容的指令或意图 ;
b) 通过移动终端内容生成结果 ,查看移动终端能否根据指令或意图生成不少于 1种对应模态的内容。 A.3. 1.3.3 互联协同
不涉及 。
A.3. 1.3.4 表达输出
采用场景化测试方法 ,在能覆盖该能力的测试场景中通过对应测试项(见表 B. 6 的测试项 1)验证移动终端对执行结果的表达输出能力 :
a) 输入任务指令 ;
b) 通过验证移动终端表达输出的方式 ,验证移动终端能否通过声音或画面显示任务执行结果 , 当任务无法执行时能否显示故障提示 。
A.3. 1.4 记忆能力
A.3. 1.4. 1 短期记忆
不涉及 。
A.3. 1.4.2 长期记忆
不涉及 。
A.3. 1.5 学习能力
A.3. 1.5. 1 情境适应学习不涉及 。
A.3. 1.5.2 持续演进学习不涉及 。
A.3.2 L2工具级
A.3.2. 1 感知能力
A.3.2. 1. 1 用户信息感知 测试方法同 A. 3. 1. 1. 1。
A.3.2. 1.2 设备信息感知 测试方法同 A. 2. 1. 1. 2。
A.3.2. 1.3 环境信息感知 测试方法同 A. 3. 1. 1. 3。
A.3.2.2 认知能力
A.3.2.2. 1 理解
采用场景化测试方法 ,在能覆盖该能力的测试场景中通过对应测试项(见表 B. 6 的测试项 2、测试
项 4、测试项 6、表 B. 7 的测试项 1、表 B. 9 的测试项 2)验证移动终端对指令 、意图以及界面内容的理解能力 :
a) 输入简单指令 、复杂指令和简单意图语句 ,查看移动终端能否根据指令和意图输出生成内容 ;
b) 分别输入 L2级难度工具调用任务简单指令和简单意图语句(L2级难度任务见附录 C) ,通过验证移动终端执行操作的方式 ,结合工具调用执行结果判断每条指令和意图的理解结果 ,查看L2级难度工具调用任务能否闭环执行 ;
c) 输入 L2级难度工具调用任务复杂指令语句(L2级难度任务见附录 C) ,通过验证移动终端执行操作的方式 ,结合工具调用执行结果判断每条指令的理解结果 ,查看 L2级难度复杂指令工具调用任务能否闭环执行 ;
d) 输入简单意图 , 当意图不明确时 ,查看移动终端能否通过追问 、提供选项或融合感知 、记忆信息等方式进行意图澄清 ,并结合工具调用执行结果判断简单意图理解是否正确 。
A.3.2.2.2 推理
采用场景化测试方法 ,在能覆盖该能力的测试场景中通过对应测试项(见表 B. 7 的测试项 1、表 B. 9的测试项 2)验证移动终端的推理能力 :
a) 输入需要进行简单逻辑推理的任务 ;
b) 通过验证执行结果 ,查看移动终端是否能基于上下文会话进行简单逻辑推理 。
注 : 简单逻辑包含短思维链推理 、快思考 、简单数学逻辑推理等任务 。
A.3.2.2.3 规划
不涉及 。
A.3.2.3 执行能力
A.3.2.3. 1 工具调用
采用场景化测试方法 ,在能覆盖该能力的测试场景中通过对应测试项(见表 B. 6 的测试项 2、测试项 4、测试项 6)验证移动终端单步骤任务和多步骤任务的执行能力 :
a) 分别输入 L2级难度任务的简单指令语句和简单意图语句(L2级难度任务见附录 C) ;
b) 通过验证移动终端执行操作的方式 ,验证单步骤和多步骤任务执行结果 ,能否根据指令或意图完成任务闭环执行 。
A.3.2.3.2 内容生成
采用场景化测试方法 ,在能覆盖该能力的测试场景中通过对应测试项(见表 B. 7 的测试项 1、表 B. 9的测试项 2)验证移动终端内容生成能力 :
a) 分别输入生成文本 、图片或音频内容的指令或意图 ;
b) 通过移动终端内容生成结果 ,查看移动终端能否根据指令或意图生成不少于 2 种对应模态的内容 。
A.3.2.3.3 互联协同
采用场景化测试方法 ,在能覆盖该能力的测试场景中通过对应测试项(见表 B. 6 的测试项 9、表 B. 9的测试项 5)验证移动终端对外部设备的控制能力 :
a) 连接外部设备 , 向移动终端输入需要外部设备配合执行任务的指令或意图 ;
b) 查看移动终端能否对外部设备进行控制从而完成任务 。
A.3.2.3.4 表达输出
测试方法同 A. 3. 1. 3. 4。
A.3.2.4 记忆能力
A.3.2.4. 1 短期记忆
采用场景化测试方法 ,在能覆盖该能力的测试场景中通过对应测试项(见表 B. 9 的测试项 2)验证移动终端短期记忆能力 :
a) 与移动终端进行会话 ,查看多轮会话内(不少于 2 轮)移动终端能否记住前序会话中指代 、省略 、上下文依赖等语言内容 ,查看是否能维持会话一致性 、正确引用或理解先前轮次的信息 ;
b) 与移动终端进行会话 , 在会 话 过 程 中 中 断 不 超 过 2 min, 查 看 移 动 终 端 能 否 记 前 序 会 话 中 指代 、省略 、上下文依赖等语言内容 ,查看是否能维持会话一致性 、正确引用或理解 先 前 轮 次 的信息 。
A.3.2.4.2 长期记忆
不涉及 。
A.3.2.5 学习能力
A.3.2.5. 1 情境适应学习不涉及 。
A.3.2.5.2 持续演进学习不涉及 。
A.3.3 L3辅助级
A.3.3. 1 感知能力
A.3.3. 1. 1 用户信息感知 测试方法同 A. 3. 1. 1. 1。
A.3.3. 1.2 设备信息感知 测试方法同 A. 2. 1. 1. 2。
A.3.3. 1.3 环境信息感知 测试方法同 A. 3. 1. 1. 3。
A.3.3.2 认知能力
A.3.3.2. 1 理解
采用场景化测试方法 ,在能覆盖该能力的测试场景中通过对应测试项(见表 B. 6 的测试项 3、测试项 5、测试项 7、测试项 8、测试项 9、测试项 12、表 B. 7 的测试项 3、表 B. 9 的测试项 3)验证移动终端对指令 、意图以及界面内容的理解能力 :
a) 输入简单指令 、复杂指令和简单意图 、复杂意图语句 ,查看移动终端能否根据指令和意图输出生成内容 ;
b) 分别输入 L3级难度工具调用任务简单指令和简单意图语句(L3级难度任务见附录 C) ,通过验证移动终端执行操作的方式 ,结合工具调用执行结果判断每条指令和意图的理解结果 ,查看L3级难度工具调用任务能否闭环执行 ;
c) 输入 L3级难度工具调用任务复杂指令和复杂意图语句(L3级难度任务见附录 C) ,通过验证移动终端执行操作的方式 ,结合工具调用执行结果判断每条指令的理解结果 ,查看 L3级难度复杂指令 、复杂意图工具调用任务能否闭环执行 ;
d) 输入简单意图和复杂意图 , 当意图不明确时 ,查看移动终端能否通过追问 、提供选项或融合感知 、记忆信息等方式进行意图澄清 ,并结合工具调用执行结果判断简单意图和复杂意图理解是否正确 ;
e) 输入图像以及相关包含指代词的意图 ,查看移动终端能否理解意图并根据图像进行回答 。 A.3.3.2.2 推理
采用场景化测试方法 ,在能覆盖该能力的测试场景中通过对应测试项(见表 B. 7 的测试项 2、表 B. 9的测试项 3)验证移动终端的推理能力 :
a) 输入需要进行简单逻辑推理的任务 ;
b) 通过查看执行结果 ,验证移动终端是否能基于上下文会话进行简单逻辑推理 ;
c) 输入需要进行复杂逻辑推理的任务 ;
d) 通过查看执行结果 ,验证移动终端是否能基于设备信息感知 、环境信息感知和互联网等信息来源 ,进行复杂逻辑推理 。
注 : 简单逻辑包含短思维链推理 、快思考 、简单数学逻辑推理等任务 。复杂逻辑包含长思维链推理 、慢思考 、复杂数学逻辑推理等任务 。
A.3.3.2.3 规划
采用场景化测试方法 ,在能覆盖该能力的测试场景中通过对应测试项(见表 B. 6 的测试项 12)验证移动终端的规划能力 :
a) 输入多步骤任务指令或意图 ;
b) 通过查看执行过程的方式 ,验证移动终端能否将多步骤任务分解为可执行子任务 ,能否对分解后的子任务编排合理的执行序列 。
A.3.3.3 执行能力
A.3.3.3. 1 工具调用
采用场景化测试方法 ,在能覆盖该能力的测试场景中通过对应测试项(见表 B. 6 的测试项 3、测试项 5、测试项 7、测试项 8、测试项 9、测试项 12)验证移动终端单步骤任务 、多步骤任务的执行能力 :
a) 分别输入 L3级难度任务的简单指令语句和简单意图语句(L3级难度任务见附录 C) ,通过验证移动终端执行操作的方式 ;
b) 验证单步骤和多步骤任务执行结果 ,能否根据指令或意图完成任务闭环执行 ,能否根据规划结果 , 自动调用适当的工具完成任务闭环执行 。
A.3.3.3.2 内容生成
采用场景化测试方法 ,在能覆盖该能力的测试场景中通过对应测试项(见表 B. 7 的测试项 2、表 B. 9的测试项 3)验证移动终端内容生成能力 :
a) 分别输入生成文本 、图片或音频内容的指令或意图 ;
b) 通过移动终端内容生成结果 ,查看移动终端能否根据指令或意图生成不少于 3 种对应模态的内容 。
A.3.3.3.3 互联协同
采用场景化测试方法 ,在能覆盖该能力的测试场景中通过对应测试项(见表 B. 6 的测试项 10、测试项 11、表 B. 9 的测试项 7)验证移动终端互联协同能力 :
a) 连接外部设备 , 向移动终端输入需要外部设备配合执行任务的指令或意图 ;
b) 查看移动终端能否对外部设备进行控制从而完成任务 ;
c) 向移动终端输入需要外部设备接续执行任务的指令或意图 ;
d) 查看外部设备能否接续完成移动终端的执行任务 。
A.3.3.3.4 表达输出
测试方法同 A. 3. 1. 3. 4。
A.3.3.4 记忆能力
A.3.3.4. 1 短期记忆
测试方法同 A. 3. 2. 4. 1。
A.3.3.4.2 长期记忆
采用场景化测试方法 ,在能覆盖该能力的测试场景中通过对应测试项(见表 B. 9 的测试项 4)验证移动终端长期记忆能力 :
a) 向移动终端注入用户基本信息 、工具偏好 、对话历史 、常去地点 、日程与待办任务 、终端使用习惯等需要长期记忆的信息 ;
b) 向移动终端输入涉及注入信息内容的任务指令或意图 ,验证移动终端能否基于长期记忆内容完成任务执行 。
A.3.3.5 学习能力
A.3.3.5. 1 情境适应学习
采用场景化测试方法 ,在能覆盖该能力的测试场景中通过对应测试项(见表 B. 9 的测试项 5)验证移动终端情境适应学习能力 :
a) 测试人员对终端生成内容进行反驳 ,并提供不少于 1个正确生成内容示例 ;
b) 验证移动终端调整后的输出内容与用户示例的语义匹配度较高 ,视为具备情境适应学习能力 。 A.3.3.5.2 持续演进学习
不涉及 。
附 录 B
(资料性)
典型测试场景示例
B. 1 端侧场景
B. 1. 1 系统功能操控B. 1. 1. 1 简单指令
简单指令参照表 B. 1设计 。
表 B. 1 简单指令示意表
B. 1. 1.2 场景中对应能力及测试内容
系统功能操控场景测试项与能力对应关系见表 B. 2。
表 B.2 系统功能操控场景测试项和能力对应表
表 B.2 系统功能操控场景测试项和能力对应表 (续)
B. 1.2 摘要任务
B. 1.2. 1 测试数据集
准备新闻 、对话等测试数据集 ,进行摘要任务测试 :
— 新闻 、科普 、说明书等文本或语音测试样本 ,平均每个测试样本文本字数为 1 500字 ;
— 两人对话文本或语音测试样本 ,对话使用正常语速录制 ,平均每个样本录音为 5 min。 B. 1.2.2 场景中对应能力及测试内容
摘要任务测试项与能力对应关系见表 B. 3。
表 B.3 摘要场景测试项和能力对应表
B. 1.3 翻译任务
B. 1.3. 1 测试数据集
准备英译中文本 、语音或图像测试数据集 ,进行翻译任务测试 :
— 文本测试数据集 :涵盖旅游出行用语 、商务等场景 ,每条样本不少于 50个单词 ;
— 语音测试数据集 :对应文本集中的内容使用标准普通话录制语音样本 ,每条样本不少于 50个单词 ;
— 图像测试数据集 :包含菜单 、宣传手册等图像 。
B. 1.3.2 场景中对应能力及测试内容
翻译任务测试项与能力对应关系见表 B. 4。
表 B.4 翻译场景测试项和能力对应表
B.2 端云协同场景
B.2. 1 工具调用
B.2. 1. 1 任务指令和意图
工具调用任务的指令和意图可参照表 B. 5 和附录 C设计 ,指令和意图的执行步骤不宜超过 10步 。
表 B.5 指令和意图示意表
表 B.5 指令和意图示意表 (续)
B.2. 1.2 场景中对应能力及测试内容
工具调用测试项与能力对应关系见表 B. 6。
表 B.6 工具调用场景测试项和能力对应表
表 B.6 工具调用场景测试项和能力对应表 (续)
B.2.2 文档处理
B.2.2. 1 输入文档
测试人员准备多组文档 ,包含说明书或产品介绍 、学术论文 、新闻材料等信息密集型文档 。 每个文档需包含图片 、文字或表格不少于 2种形式的内容 。
B.2.2.2 场景中对应能力及测试内容
文档处理测试项与能力对应关系见表 B. 7。
表 B.7 文档处理场景测试项和能力对应表
B.2.3 多模态知识问答
B.2.3. 1 任务指令和意图
测试人员参考表 B. 8 准备复合模态输入数据集以及包含用户反驳和回答示例的样例 。
表 B. 8 复合模态输入数据集及对应任务类型
B.2.3.2 场景中对应能力及测试内容
多模态知识问答测试项与能力对应关系见表 B. 9。
表 B.9 多模态知识问答场景测试项和能力对应表
表 B.9 多模态知识问答场景测试项和能力对应表 (续)
附 录 C
(资料性)
通用型移动终端工具调用任务示例及难度对应关系
表 C. 1 列举了通用型移动终端工具调用任务示例及难度对应关系。
表 C. 1 通用型移动终端工具调用任务示例及难度对应关系
表 C. 1 通用型移动终端工具调用任务示例及难度对应关系 (续)
表 C. 1 通用型移动终端工具调用任务示例及难度对应关系 (续)
表 C. 1 通用型移动终端工具调用任务示例及难度对应关系 (续)
表 C. 1 通用型移动终端工具调用任务示例及难度对应关系 (续)
表 C. 1 通用型移动终端工具调用任务示例及难度对应关系 (续)
表 C. 1 通用型移动终端工具调用任务示例及难度对应关系 (续)
参 考 文 献
[1] GB/T 21023—2007 中文语音识别系统通用技术规范
[2] GB/T 21024—2007 中文语音合成系统通用技术规范
[3] GB/T 40429—2021 汽车驾驶自动化分级
评论