中 华人民共和国国家标准 化 指 导 性 技 术 文 件
GB/Z 177.2—2026
人工智能终端智能化分级
第 2 部分 : 总体要求
Intelligencegrading ofartificialintelligenceterminal—
Part2: Generalrequirements
2026-04-30发布
国家市场监督管理总局国家标准化管理委员会
发 布
前 言
本文件为规范类指导性技术文件 。
本文件按照 GB/T 1. 1—2020《标准化工作导则 第 1部分 :标准化文件的结构和起草规则》的规定起草 。
本文件是 GB/Z177《人工智能终端智能化分级》的第 2部分 。GB/Z 177 已经发布了以下部分 :
— 第 1部分 :参考框架 ;
— 第 2部分 :总体要求 ;
— 第 3部分 :移动终端 ;
— 第 4部分 :微型计算机 ;
— 第 7部分 :汽车座舱 ;
— 第 8部分 :音箱 ;
— 第 9部分 :耳机 。
请注意本文件的某些内容可能涉及专利 。本文件的发布机构不承担识别专利的责任 。
本文件由全国信息技术标准化技术委员会(SAC/TC 28)提出并归 口 。
本文件起草单位 : 中国信息通信研究院 、中国电子技术标准化研究院 、中国软件评测中心(工业和信息化部软件与集成电路促进中心) 、华为技术有限公司 、联想(北京)有限公司 、联通(广东)产业互联网有限公司 、OPPO 广东移动通信有限公司 、维沃移动通信有限公司 、小米通讯技术有限公司 、荣耀终端股份有限公司 、中兴通讯股份有限公司 、科大讯飞股份有限公司 、中移(杭州)信息技术有限公司 、青岛海信移动通信技术有限公司 、中国工业互联网研究院(工业和信息化部密码应用研究中心) 、中国电器科学研究院股份有限公司 、海信视像科技股份有限公司 。
本文件主要起草人 : 高峰 、陈磊 、翟云 、苗力元 、杨磊 、高歌 、沈芷月 、马子扬 、邓森屾 、翟腾 、麦睿楷 、史浩 、王卓 、陶宏芝 、吕召彪 、高 明 亮 、康 峰 、杨 振 宇 、高 立 发 、曹 宇 琼 、刘 海 涛 、朱 亚 军 、曾 勇 波 、聂 大 伟 、叶佳 、张宏伟 、杨彤晖 、张云畅 、宁懿 、张学杰 、薛强 、邢军 、张宏伟 。
引 言
人工智能技术的蓬勃发展 ,持续驱动新产品与新业态的涌现 ,并引领传统电子信息产品升级换代 。各类智能产品功能日益丰富 、迭代速度加快 ,为用户带来新颖的体验和显著的生产力提升 。
GB/Z177《人工智能终端智能化分级》从用户智能化体验视角给出了人工智能终端智能化能力分级测 评 要 素 与 测 试 方 法 , 以 规 范 人 工 智 能 终 端 的 生 产 、宣 传 、销 售 等 活 动 , 为 用 户 选 型 提 供 参 考 。 GB/Z 177拟由九个部分构成 。
— 第 1部分 :参考框架 。 目的在于给出人工智能终端的参考框架 、分类和智能化能力要素 。
— 第 2部分 :总体要求 。 目的在于给出人工智能终端智能化能力通用等级判定和测试方法 。
— 第 3部分 :移动终端 。 目的在于给出人工智能移动终端智能化能力等级判定和测试方法 。
— 第 4部分 :微型计算机 。 目的在于给出人工智能微型计算机智能化能力等级判定和测试方法 。
— 第 5部分 : 电视接收机 。 目的在于给出人工智能电视接收机智能化能力等级判定和测试方法 。
— 第 6部分 : 眼镜 。 目的在于给出人工智能眼镜智能化能力等级判定和测试方法 。
— 第 7部分 :汽车座舱 。 目的在于给出人工智能汽车座舱智能化能力等级判定和测试方法 。
— 第 8部分 :音箱 。 目的在于给出人工智能音箱智能化能力等级判定和测试方法 。
— 第 9部分 :耳机 。 目的在于给出人工智能耳机智能化能力等级判定和测试方法 。
人工智能终端智能化分级
第 2 部分 : 总体要求
1 范围
本文件规定了人工智能终端(以下简称 “终端”)智能化的分级体系 ,包括终端智能化等级划分 、能力要素和各等级关键能力 ,描述了测试方法 。
本文件适用于各类终端的智能化分级 ,也为终端的设计 、开发 、应用 、选型及测试等环节提供参考 。
2 规范性引用文件
下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款 。其中 , 注 日期的引用文件 ,仅该日期对应的版本适用于本文件 ;不注日期的引用文件 ,其最新版本(包括所有的修改单)适用于本文件 。
GB/Z 177. 1 人工智能终端智能化分级 第 1部分 :参考框架
3 术语和定义
GB/Z 177. 1 界定的以及下列术语和定义适用于本文件 。
3. 1
测试场景 testingscenario
在特定应用场景下 ,为测试终端的关键能力而设定的综合性测试情境 。
3.2
测试任务 testingtask
终端智能化测试中的基本执行单元 。
注 : 测试任务既能作为一个测试场景的具体步骤 ,也能作为一项独立的 、原子化的测试项单独完成 。
3.3
场景上下文 scenario context
终端在执行特定任务时 ,为实现对用户意图的精准理解与响应 ,实时构建的关于用户 、设备及环境的动态信息集合 。
3.4
端到端闭环 end-to-end closed-loop
从用户发出指令或意图开始 ,终端完成感知 、认知 、执行等必要环节 ,最终成功交付任务结果的完整流程 。
3.5
个人知识库 personalknowledgebase
终端在长期使用过程中 ,经用户授权后学习并存储的关于该用户的特定事实 、关系 、偏好和习惯等个性化信息集合 。
3.6
会话 session
用户与终端之间为完成一个或一组相关联的任务而进行的一次交互过程 。
3.7
会话上下文 session context
在一次会话期间 ,为确保交互的连贯性与任务的准确执行 ,所记录和维护的该会话内交互历史与当前状态等动态信息的集合 。
3. 8
能力要素 ability element
构成终端智能化能力顶层框架的基本分类 。
3.9
任务分解 task decomposition
终端将用户提出的一个复杂意图或多步骤指令 , 自动拆解成一系列更小 、更具体且可执行子任务的能力 。
3. 10
任务编排 task orchestration
在任务分解的基础上 ,根据子任务之间的逻辑关系 、依赖关系和执行优先级 ,规划并生成最优或合
理执行顺序的能力 。
3. 11
意图澄清 intentclarification
当终端识别到用户意图不明确时 ,通过主动提问 、提供选项或请求补充信息等方式 ,进一步明确用
户真实需求的能力 。
4 缩略语
下列缩略语适用于本文件 。
TTS:语音合成(Text-to-Speech)
5 概述
根据终端在功能范围内执行各类任务的能力复杂度及自动化程度 ,将终端智能化水平划分为四个等级 ,分别为 1 级 (L1) ~4级 (L4) 。等级越高 ,表明终端的智能化水平越高 。高等级终端的能力涵盖全部低等级终端的能力 ,如 L3级终端需同时具备 L1级和 L2级的所有关键能力 。
6 等级划分
6. 1 L1响应级
终端理解单个简单指令 ,根据指令调用确定工具 ,完成单步骤任务 。
6.2 L2工具级
终端理解用户指令以及简单意图 ,具备简单推理能力 ;具备调用预设工具 ,完成单步骤或明确的多步骤执行任务的能力 ;具备文本 、音频或图片等至少一种模态内容生成的能力 ;具备在单次会话内的短期记忆能力 。
6.3 L3辅助级
终端能够全面理解用户指令和意图 ,具备主动进行意图澄清的能力 ,具备较强的推理能力 , 能够自动完成任务分解和任务编排 ;具备动态选择和自动调用工具的能力 ,具备文本 、音频或图片等至少一种模态内容生成的能力 ;具备短期和长期记忆能力 。
6.4 L4协同级
待定 。
注 : 根据当前技术发展水平 ,本文件给出了 L1级 ~ L3级的智能化关键能力 ,L4级及更高等级的划分将在本文件的后续修订中予以明确和完善 。
7 能力要素
7. 1 一级能力要素
7. 1. 1 感知
终端通过内外部传感器 、数据采集模块和识别模块等获取传感器 、系统服务和应用服务等数据 ,并构建任务执行所需的场景上下文信息的能力 ,包括用户信息感知 、设备信息感知和环境信息感知 。
7. 1.2 认知
终端对用户意图及相关信息进行理解 ,对信息进行推理分析以及对任务进行动态规划的能力 , 以确保任务的执行符合用户预期目标 ,包括理解 、推理 、规划 。
7. 1.3 执行
终端基于认知过程的输出结果生成响应 ,并调用内外部工具和服务实现任务目标的能力 ,包括工具调用 、内容生成 、互联协同 、表达输出 。
7. 1.4 记忆
终端在用户授权下 ,对交互内容和相关信息进行提取 、存储 、检索和动态更新的能力 ,包括短期记忆和长期记忆 。
7. 1.5 学习
终端通过用户反馈 、外部知识输入和自我反思等方式 ,不断优化指令遵从 、知识问答 、特定任务执行等方面的表现 ,实现输出结果优化和智能化水平提升的能力 ,包括情境适应学习和持续演进学习 。
7.2 二级能力要素
7.2. 1 感知
7.2. 1. 1 用户信息感知
终端感知与用户相关的多类信息内容 ,并实现对用户生物特征 、用户输入内容 、用户行为及用户生理状态进行采集与识别的能力 。用户生物特征包括声纹 、人脸 、指纹等 ;用户输入内容包括文字 、图片 、音频 、视频等 ;用户行为包括手势 、眼动 、静止 、步行等 ;用户生理状态包括心率 、体温等 。
7.2. 1.2 设备信息感知
终端感知本地的硬件状态 、软件信息以及外联设备信息的能力 。硬件状态包括处理器 、存储器 、外部通信接口等关键组件的使用情况 ;软件信息包括已安装软件列表 、各软件的权限配置 、软件运行状态等 ;外联设备连接状态包括外联设备的类型 、能力和运行状态等 。
7.2. 1.3 环境信息感知
终端感知其所处的外部环境与用户使用情境 ,并实现对环境信息进行采集与识别的能力 。感知内容包括环境光 、环境声 、温度 、湿度 、空气质量 、空间位置等 。环境信息感知可通过终端传感器 、外联设备或互联网等方式实现 。
7.2.2 认知
7.2.2. 1 理解
终端对感知到的各类信息进行分析与解读 , 以准确理解用户意图 、用户状态 、所处环境及终端处理或输出内容的能力 。包括理解用户输入的指令与意图 ,并对用户的行为 、生理及情绪状态进行理解 ;对终端处理或输出的内容进行理解 ;对终端所处的环境进行理解 ;对多种来源的感知信息进行融合理解 ;当意图不明确时 ,能够主动进行意图澄清 ;具备依据用户习惯和场景上下文主动预测用户意图的能力 。各类型用户指令和意图描述见附录 A。
7.2.2.2 推理
终端基于感知的信息 ,通过逻辑推理或归纳推理等方式对信息进行论证 ,从而得出结论的能力 。
注 : 逻辑推理是利用符号 、谓词 、函数和量词等逻辑要素从给定的前提进行推理并得出结论 。
7.2.2.3 规划
终端为完成用户的复杂任务 ,基于情景上下文 ,将任务分解为子任务并编排成可行的行动方案 ,并能在执行中根据反馈进行动态调整的能力 。
注 : 仅基于模型能力的内容生成任务(如小说创作 、文章摘要等)通常依赖推理能力 ,不属于规划能力 。
7.2.3 执行
7.2.3. 1 工具调用
终端通过调用各类工具完成特定任务的能力 ,包括完成单步骤任务的确定性工具调用 、完成预设且明确的多步骤任务的组合工具调用以及依据规划结果的工具调用 。
注 : 工具指终端系统功能 、终端应用程序及互联网服务 ,终端系统功能包括调节音量 、拍照等 ,终端应用程序包括发送消息 、文档编辑等 ,互联网服务包括网上购物 、预订机票等 。
7.2.3.2 内容生成
终端通过人工智能技术 生 成 文 本 、图 片 、音 频 、视 频 等 内 容 的 能 力 , 文 本 生 成 包 括 文 本 摘 要 、扩 写等 , 图片生成包括文生图 、图片修饰等 ,音频生成包括声音克隆 、情感模拟等 ,视频生成包括视频创作 、内容替换等 。
注 : 本文件中的音频生成指具备情感 、韵律或个性化音色特征的语音生成能力 , 以区别于传统的 TTS技术 。
7.2.3.3 互联协同
终端与其他设备进行信息交换与协同操作的能力 ,包括实现对外部设备的远程控制 ,进行跨设备的内容与任务迁移 , 以及将复杂任务在多设备上完成分布式协同处理 。
7.2.3.4 表达输出
终端对输出内容进行处理或优化 ,并将其通过输出模块转换为声音 、图像 、文字等人类可感知形式的能力 。包括向用户反馈任务执行状态与结果 、适配场景的输出方式 、对多媒体内容进行效果增强等 。
7.2.4 记忆
7.2.4. 1 短期记忆
终端对单个会话上下文内容的记忆能力 。
7.2.4.2 长期记忆
终端对会话历史记录 、用户偏好 、场景上下文或个人知识库的长期记忆能力 。
7.2.5 学习
7.2.5. 1 情境适应学习
终端在单次会话内 ,通过分析当前会话上下文 、用户提供的示例等内容 ,优化其行为和内容输出的能力 。
7.2.5.2 持续演进学习
终端通过持续分析用户正面与负面的反馈 ,反思任务失败或结果偏差的原因 , 以及从外部文档与数据中学习知识等方式 ,对内部模型和策略进行调整 、优化与扩展 , 以实现智能化能力持续提升 。
8 关键能力
8. 1 概述
8. 1. 1 智能化能力构成
终端智能化能力由端侧能力与端云协同能力两部分组成 :
a) 端侧能力指终端依托本地硬件和软件资源 ,独立实现智能化应用功能的能力 ;
b) 端云协同能力指终端在接入互联网条件下 ,通过协同调度终端本地及云侧的计算 、存储与服务资源 , 以支撑智能化应用的综合能力 。
依据计算资源和典型应用场景的差异 ,本文件将终端分为强算力终端和弱算力终端 ,不同终端的端侧能力要求不同 ,按 GB/Z 177. 1对强算力终端与弱算力终端进行划分 。
因弱算力终端的本地计算与存储资源限制 ,本文件只给出了强算力终端的端侧关键能力 。
8. 1.2 关键能力说明
GB/Z 177具体产品部分遵循本文件中的能力要素 ,并可依据终端技术特征与应用场景 ,对关键能力进行增强或细化 ,方式包括但不限于 :
a) 增加本文件中未包含的关键能力 ;
b) 可将本文件中较高等级的关键能力 ,要求在较低等级实现 。
8.2 强算力终端的端侧能力
8.2. 1 L1响应级
8.2. 1. 1 感知
8.2. 1. 1. 1 用户信息感知
应具备感知用户输入内容的能力 ,如文字 、图片 、音频 、视频等 。
8.2. 1. 1.2 设备信息感知
设备信息感知能力包括 :
a) 应具备感知终端硬件状态的能力 ,如处理器 、存储器 、外部通信接口等 ;
b) 应具备感知终端软件信息的能力 ,如已安装软件的列表 、权限配置 、运行状态等 。
8.2. 1. 1.3 环境信息感知无要求 。
8.2. 1.2 认知
8.2. 1.2. 1 理解
应具备理解用户的单个简单指令的能力 。
8.2. 1.2.2 推理无要求 。
8.2. 1.2.3 规划无要求 。
8.2. 1.3 执行
8.2. 1.3. 1 工具调用
应具备调用确定性工具完成单步骤任务的能力 。
8.2. 1.3.2 内容生成
无要求 。
8.2. 1.3.3 互联协同
无要求 。
8.2. 1.3.4 表达输出
应具备通过其支持的输出方式 , 向用户反馈任务执行状态与结果的能力 。
8.2. 1.4 记忆
8.2. 1.4. 1 短期记忆
无要求 。
8.2. 1.4.2 长期记忆
无要求 。
8.2. 1.5 学习
8.2. 1.5. 1 情境适应学习无要求 。
8.2. 1.5.2 持续演进学习无要求 。
8.2.2 L2工具级
8.2.2. 1 感知
8.2.2. 1. 1 用户信息感知
应具备感知用户输入内容的能力 ,如文字 、图片 、音频 、视频等 。
8.2.2. 1.2 设备信息感知
设备信息感知能力包括 :
a) 应具备感知终端硬件状态的能力 ,如处理器 、存储器 、外部通信接口等 ;
b) 应具备感知终端软件信息的能力 ,如已安装软件的列表 、权限配置 、运行状态等 。
8.2.2. 1.3 环境信息感知无要求 。
8.2.2.2 认知
8.2.2.2. 1 理解
应具备理解用户的单个简单指令的能力 。
8.2.2.2.2 推理无要求 。
8.2.2.2.3 规划无要求 。
8.2.2.3 执行
8.2.2.3. 1 工具调用
应具备调用确定性工具完成单步骤任务的能力 。
8.2.2.3.2 内容生成
应具备生成文本 、图片或音频等至少一种模态的内容的能力 。
8.2.2.3.3 互联协同
无要求 。
8.2.2.3.4 表达输出
应具备通过其支持的输出方式 , 向用户反馈任务执行状态与结果的能力 。
8.2.2.4 记忆
8.2.2.4. 1 短期记忆
无要求 。
8.2.2.4.2 长期记忆
无要求 。
8.2.2.5 学习
8.2.2.5. 1 情境适应学习无要求 。
8.2.2.5.2 持续演进学习无要求 。
8.2.3 L3辅助级
8.2.3. 1 感知
8.2.3. 1. 1 用户信息感知
应具备感知用户输入内容的能力 ,如文字 、图片 、音频 、视频等 。
8.2.3. 1.2 设备信息感知
设备信息感知能力包括 :
a) 应具备感知终端硬件状态的能力 ,如处理器 、存储器 、外部通信接口等 ;
b) 应具备感知终端软件信息的能力 ,如已安装软件的列表 、权限配置 、运行状态等 。
8.2.3. 1.3 环境信息感知无要求 。
8.2.3.2 认知
8.2.3.2. 1 理解
应具备理解用户的单个简单指令的能力 。
8.2.3.2.2 推理无要求 。
8.2.3.2.3 规划无要求 。
8.2.3.3 执行
8.2.3.3. 1 工具调用
工具调用能力包括 :
a) 应具备调用确定性工具完成单步骤任务的能力 ;
b) 应具备调用确定性组合工具完成预设且明确的多步骤任务的能力 。
8.2.3.3.2 内容生成
应具备生成文本 、图片或音频等至少一种模态的内容的能力 。
8.2.3.3.3 互联协同
无要求 。
8.2.3.3.4 表达输出
应具备通过其支持的输出方式 , 向用户反馈任务执行状态与结果的能力 。
8.2.3.4 记忆
8.2.3.4. 1 短期记忆
无要求 。
8.2.3.4.2 长期记忆
无要求 。
8.2.3.5 学习
8.2.3.5. 1 情境适应学习无要求 。
8.2.3.5.2 持续演进学习无要求 。
8.3 端云协同能力
8.3. 1 L1响应级
8.3. 1. 1 感知
8.3. 1. 1. 1 用户信息感知
应具备感知用户输入内容的能力 ,如文字 、图片 、音频 、视频等 。
8.3. 1. 1.2 设备信息感知
设备信息感知能力包括 :
a) 应具备感知终端硬件状态的能力 ,如处理器 、存储器 、外部通信接口等 ;
b) 应具备感知终端软件信息的能力 ,如已安装软件的列表 、权限配置 、运行状态等 。
8.3. 1. 1.3 环境信息感知无要求 。
8.3. 1.2 认知
8.3. 1.2. 1 理解
应具备理解用户的单个简单指令的能力 。
8.3. 1.2.2 推理无要求 。
8.3. 1.2.3 规划无要求 。
8.3. 1.3 执行
8.3. 1.3. 1 工具调用
应具备调用确定性工具完成单步骤任务的能力 。
8.3. 1.3.2 内容生成
无要求 。
8.3. 1.3.3 互联协同
无要求 。
8.3. 1.3.4 表达输出
应具备通过其支持的输出方式 , 向用户反馈任务执行状态与结果的能力 。
8.3. 1.4 记忆
8.3. 1.4. 1 短期记忆
无要求 。
8.3. 1.4.2 长期记忆
无要求 。
8.3. 1.5 学习
8.3. 1.5. 1 情境适应学习无要求 。
8.3. 1.5.2 持续演进学习无要求 。
8.3.2 L2工具级
8.3.2. 1 感知
8.3.2. 1. 1 用户信息感知
应具备感知用户输入内容的能力 ,如文字 、图片 、音频 、视频等 。
8.3.2. 1.2 设备信息感知
设备信息感知能力包括 :
a) 应具备感知终端硬件状态的能力 ,如处理器 、存储器 、外部通信接口等 ;
b) 应具备感知终端软件信息的能力 ,如已安装软件的列表 、权限配置 、运行状态等 ;
c) 应具备感知外联设备信息的能力 ,如外联设备的类型 、能力和运行状态等 。
8.3.2. 1.3 环境信息感知
应具备通过互联网感知环境信息的能力 ,如时间 、位置等 。
8.3.2.2 认知
8.3.2.2. 1 理解
理解能力包括 :
a) 应具备理解用户的单个简单指令的能力 ;
b) 应具备理解包含条件或多个步骤的用户复杂指令的能力 ;
c) 应具备理解用户的简单意图的能力 。
8.3.2.2.2 推理
应具备基于当前的会话上下文进行简单推理的能力 , 如逻辑路径单一 、步骤较少的推理或短思维链等 。
8.3.2.2.3 规划无要求 。
8.3.2.3 执行
8.3.2.3. 1 工具调用
工具调用能力包括 :
a) 应具备调用确定性工具完成单步骤任务的能力 ;
b) 应具备调用确定性组合工具完成预设且明确的多步骤任务的能力 。
8.3.2.3.2 内容生成
应具备生成文本 、图片或音频等至少一种模态的内容的能力 。
8.3.2.3.3 互联协同
应具备对外部设备进行控制的能力 。
8.3.2.3.4 表达输出
应具备通过其支持的输出方式 , 向用户反馈任务执行状态与结果的能力 。
8.3.2.4 记忆
8.3.2.4. 1 短期记忆
应具备对单个会话上下文内容的记忆能力 。
8.3.2.4.2 长期记忆
无要求 。
8.3.2.5 学习
8.3.2.5. 1 情境适应学习无要求 。
8.3.2.5.2 持续演进学习无要求 。
8.3.3 L3辅助级
8.3.3. 1 感知
8.3.3. 1. 1 用户信息感知
应具备感知用户输入内容的能力 ,如文字 、图片 、音频 、视频等 。
8.3.3. 1.2 设备信息感知
设备信息感知能力包括 :
a) 应具备感知终端硬件状态的能力 ,如处理器 、存储器 、外部通信接口等 ;
b) 应具备感知终端软件信息的能力 ,如已安装软件的列表 、权限配置 、运行状态等 ;
c) 应具备感知外联设备信息的能力 ,如外联设备的类型 、能力和运行状态等 。
8.3.3. 1.3 环境信息感知
应具备通过互联网感知环境信息的能力 ,如时间 、位置等 。
8.3.3.2 认知
8.3.3.2. 1 理解
理解能力包括 :
a) 应具备理解用户的单个简单指令的能力 ;
b) 应具备理解包含条件或多个步骤的用户复杂指令的能力 ;
c) 应具备理解用户简单意图的能力 ;
d) 应具备理解用户复杂意图的能力 ;
e) 应具备对多种感知信息进行融合理解的能力 ;
f) 当意图不明确时 ,终端应具备通过追问或提供选项等方式进行意图澄清的能力 。
8.3.3.2.2 推理
推理能力包括 :
a) 应具备基于当前的会话上下文进行简单推理的能力 ,如逻辑路径单一 、步骤较少的推理或短思维链等 ;
b) 应具备综合不同来源和类型的信息进行复杂推理的能力 ,如多重约束条件 、多步骤的推理或长思维链等 。
8.3.3.2.3 规划
规划能力包括 :
a) 应具备将复杂任务分解为可执行的子任务的能力 ;
b) 应具备为分解后的子任务编排合理的执行序列的能力 。
8.3.3.3 执行
8.3.3.3. 1 工具调用
工具调用能力包括 :
a) 应具备调用确定性工具完成单步骤任务的能力 ;
b) 应具备调用确定性组合工具完成预设且明确的多步骤任务的能力 ;
c) 应具备依据规划结果 , 自动调用适当的工具完成任务的能力 。
8.3.3.3.2 内容生成
内容生成能力包括 :
a) 如果终端只支持单模态输出 ,应具备生成文本 、图片或音频等一种模态的内容的能力 ;
b) 如果终端支持多模态输出 ,应具备生成文本 、图片或音频等多种模态的内容的能力 。
8.3.3.3.3 互联协同
互联协同能力包括 :
a) 应具备对外部设备进行控制的能力 ;
b) 应具备实现跨设备的内容迁移的能力 。
8.3.3.3.4 表达输出
应具备通过其支持的输出方式 , 向用户反馈任务执行状态与结果的能力 。
8.3.3.4 记忆
8.3.3.4. 1 短期记忆
应具备对单个会话上下文内容的记忆能力 。
8.3.3.4.2 长期记忆
应具备对会话历史 、用户偏好 、场景上下文或个人知识库的长期记忆能力 。
8.3.3.5 学习
8.3.3.5. 1 情境适应学习
宜具备在单次会话内 ,依据上下文或用户示例 ,动态调整并优化其内容输出的能力 。
8.3.3.5.2 持续演进学习无要求 。
9 测试方法
9. 1 测试原则
对终端量化参数的测试一般通过执行测试任务实现 ,终端的各项关键能力的测试一般通过执行测试场景实现 ,测试场景遵循以下原则 :
a) 场景代表性原则 :单个测试场景覆盖多个关键能力 ,在设计测试场景时 ,充分兼顾场景的典型性和可用性 ;
b) 场景等效性原则 :如果 GB/Z 177具体产品部分定义的测试场景不适用 ,可基于终端功能特性构建自定义测试场景 , 自定义测试场景在关键能力覆盖范围 、任务复杂度等方面与该部分标准定义的测试场景一致 ,并经测试方评估确认后方可采用 ;
c) 覆盖充分性原则 :执行的测试场景的总和应覆盖该等级的全部关键能力 ,确保能力验证的全面性和系统性 ;
d) 端到端闭环原则 :单个测试场景的执行一般需端到端闭环完成 ,仅当终端成功完成测试场景的所有任务后 ,该场景所覆盖的关键能力可被判定为通过 。
9.2 测试框架
9.2. 1 端侧能力
对 GB/Z 177具体产品部分描述的端侧关键能力 ,需验证该关键能力由终端独立完成 。关键能力的端侧实现可通过以下任一方式进行测试 :
a) 终端在未接入互联网的环境下执行测试任务 ,确认相关能力在不依赖云侧服务的情况下仍可正常运行 ,强算力终端可优先采用该方式 ;
b) 终端在接入互联网环境下执行测试任务 , 由终端输出其端侧实现相关能力的证明材料 ,例如本地模型调用 日志 、本地服务组件信息 、运行轨迹等 。
9.2.2 端云协同能力
在终端保持接入互联网条件下 ,依据 GB/Z 177具体产品部分描述的测试场景对终端的各项关键能力进行测试 。
9.3 智能化等级判定
9.3. 1 符合性判定法
对于形态相对简单 、形态特征(如感知 、表达模态)无交叉重叠的终端品类 ,采用符合性判定法 。
针对申请的目标智能化等级 ,测试终端的端侧能力与端云协同能力是否符合该等级对应的关键能力 。仅当该终端在上述两方面的能力全部符合所申请等级对应的所有关键能力时 ,可判定为达到所申
请的智能化等级 。
9.3.2 综合评分判定法
对于终端品类中存在多种形态特征的灵活组合 ,导致形态特征交叉重叠的终端品类 ,可采用综合评分判定法 。
依据 GB/Z 177具体产品部分建立的智能化等级评分模型进行判定 。该评分模型全面覆盖并量化评估终端的端侧能力与端云协同能力 ,并为各能力要素设定权重 。测试方对终端进行测试后 ,依据其在评分模型中的总得分 ,并对照预设的等级分数阈值确定其智能化等级 。智能化等级评分模型见附录 B。
9.4 测试流程
9.4. 1 概述
测试流程包括提交测试申请 、形式审查 、制定测试方案 、实施测试 、确定智能化等级及输出测试结论六个部分 ,测试流程见图 1。
图 1 终端智能化测试流程
9.4.2 提交测试申请
被测方向测试方提交测试申请 ,并提供与被测终端相关的技术文档 ,文档内容至少包括 :
a) 终端基本信息(如终端型号 、硬件配置 、操作系统版本 、软件配置等) ;
b) 终端与智能化能力相关的功能 、应用场景和性能指标 ;
c) 必要的接口说明 ;
d) 所涉及的云服务情况 。
9.4.3 形式审查
测试方审核被测方提交的测试申请资料 , 以确认其是否能够参与测试 ,审核要点主要包括 :
a) 确认被测终端的产品品类是否属于各部分标准定义的范围 ;
b) 确认终端的端侧智能化能力核心组件由被测方发布或被授权使用 ,终端一般预置该核心组件 。注 : 核心组件包括端侧模型 、智能助手或与终端配套使用的应用软件 。
9.4.4 制定测试方案
测试方编写测试方案 ,测试方案至少包括 :
a) 测试对象和范围 : 明确被测终端的型号与软硬件版本 、相关云服务的配置信息 , 以及测试所需的样品数量 ;
b) 测试环境 : 明确测试环境的各项条件 ,并对关键环境参数进行量化 ,如环境本底噪声 、环境光照度等 ;
c) 测试用例与测试数据 :包含测试用例的描述 、操作步骤 , 以及所使用的测试数据的说明 ;
d) 测试工具 : 明确测试过程中所使用的测试工具的名称 、版本 ;
e) 测试用例判定依据 :为测试用例设定清晰 、准确的通过/不通过准则 。
9.4.5 实施测试
测试方在标准化的测试环境中 ,依据制定的测试方案执行测试 ,实施过程包括以下步骤 。
a) 测试准备工作包括 :
1) 终端配置 :依据测试方案 ,对被测终端进行配置 ,包括安装必要的应用程序 、清除无关的第三方应用程序 ,并确认终端能够正常访问所需的云侧服务 ;
2) 环境搭建 :搭建测试环境 ,确保网络 、工具及所需云资源符合测试方案要求 ;
3) 工具对接 :将被测终端与测试工具进行对接 ,必要时 ,被测方需配合完成被测终端与测试工具的接口适配 。
b) 测试执行 :依据测试方案执行所有测试用例 。
9.4.6 确定智能化等级
对测试结果进行分析 ,确定被测终端的智能化等级 。
9.4.7 输出测试结论
测试方出具相应的测试报告 。
附 录 A
(资料性)
用户指令和意图
表 A. 1列举了各类指令和意图的描述和示例 。
表 A. 1 指令和意图描述及示例
附 录 B
(资料性)
智能化等级评分模型
综合评分判定法结合 终 端 技 术 特 征 及 其 应 用 场 景 的 需 求 ,设 置 一 级 和 二 级 能 力 要 素 重 要 程 度 权重 ,一级能力要素得分为二级能力要素得分加权求和 ,终端智能化测试总分为一级能力要素加权求和 。具体见表 B. 1。
表 B. 1 综合评分判定法智能化等级评分表
一级能力要素单项得分按公式(B. 1)计算 。
Si = ∑Ni βi,Ni ·Si,Ni … … … … … … … … ( B. 1 )式中 :
βi,Ni — 第 i项一级能力要素下第 Ni 项二级能力要素的重要程度权重 ; Si,Ni— 第 i项一级能力要素下第 Ni 项二级能力要素的测试得分 。
智能化测试总得分 S 按公式(B. 2)计算 。
S = ∑i αi ·Si … … … … … … … … ( B. 2 )式中 :
αi — 第 i项一级能力要素的重要程度权重 ,i∈{1,2,3,4,5} ;
Si — 第 i项一级能力要素得分 。
参 考 文 献
[1] GB/T 40429—2021 汽车驾驶自动化分级
[2] GB/T 41867—2022 信息技术 人工智能 术语

评论