团 体 标 准
T/TAF 255—2024
智能终端大模型应用评估规范
Evaluation specification for LLMs applications on smart terminals
2024-11-01 发布 2024-11-01 实施
电 信 终 端产业 协 会 发布
前 言
本文件按照GB/T 1.1—2020《标准化工作导则 第1部分：标准化文件的结构和起草规则》的规定起草。
请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。
本文件由电信终端产业协会提出并归口。
本文件起草单位： 中国信息通信研究院、OPPO 广东移动通信有限公司、荣耀终端有限公司、华为终端有限公司、维沃移动通信有限公司、中兴通讯股份有限公司、北京快手科技有限公司、博鼎实华(北京)技术有限公司。
本文件主要起草人：张沛、翟梦冉、刘恩琦、罗敏、王健宇、李根、李辰淑、麦睿楷、刘跃、高立发、张宏伟、高斌、刘妍、梁君、李一冉。
智能终端大模型应用评估规范
1 范围
本文件规定了智能终端大模型应用的评估指标，可用于指导第三方测评机构对生成式AI和大模型相关技术产品的评估、验收等工作。
本文件适用于智能手机、XR、Pad、PC等智能终端产品生成式AI与大模型技术的部署和应用，可不限于本参考框架的指标项或条款项，应符合标准中的定义和规范性描述。
2 规范性引用文件
本文件没有规范性引用文件。
3 术语和定义
下列术语和定义适用于本文件。
3.1
生成式人工智能服务 Generative Artificial Intelligence Service
基于数据、算法、模型、规则， 能够根据使用者提示生成文本、图片、代码、音频、视频等内容的人工智能服务。
3.2
大模型 Large Model
指具有大规模参数和复杂计算结构的机器学习模型。这些模型通常由深度神经网络构建而成，拥有数十亿甚至数千亿个及以上的参数。
其中大型模型 :通常包含数十亿((10^9))到数百亿 ((10^{10})) 的参数。超大型模型 :通常包含数千亿((10^{11}))甚至更多的参数。
4 缩略语
下列缩略语适用于本文件。
AI : 人工智能 (Artificial Intelligence)
APP: 应用程序 (Application)
BLEU : 双语评估替补 (Bilingual Evaluation Understudy)
CLIP : 双语评估替补 (Constrastive Language-Image Pre-training)
EM: 绝对匹配 (Exact Match)
FID: 弗雷谢特初始距离 (Fréchet Inception Distance)
MSE : 均方误差 (Mean Square Error)
PC : 个人计算机(Personal Computer)
PSNR: 峰值信噪比 (Peak Signal-to-Noise Ratio)
ROUGE: 以召回率为导向的摘要评价方法 (Recall-Oriented Understudy for Gisting Evaluation)
SER : 句误率(Sentence Error Ratio)
SSIM : 结构相似性系数(Structure Similarity Index Measure)
WER: 词误率(Word Error Ratio)
XR: 拓展现实 (Extended Reality)
5 评估框架
5.1 智能终端大模型应用评估基本框架
本文件围绕智能终端相关模型性能、大模型应用能力和核心场景三个维度，规范了智能终端大模型应用的通用评估框架和方法,评估基本框架见图1。
图1 智能终端大模型应用评估基本框架
5.2 模型性能
模型性能方面，从模型的体积，推理时的响应时间、内存占用及功耗等对生成式AI和大模型性能进行评估。
5.3 应用能力
应用能力方面，通过语言类、图像类、语音类及多模态类四个领域多个子任务的能力评估，综合反映终智能终端大模型应用的技术性能。
5.4 核心场景
智能终端大模型应用的核心场景方面，从可用性、丰富性、专业性三个维度进行评估，涵盖创作、工作、教育、生活、医疗、出行等核心场景。
6 评估方法概述
6.1 总体要求
终端生成式AI和大模型应用评估流程应符合图2的规定，包括确定评估目标、选择评估指标、制定评估计划、实施评估方案及得出评估结论五个部分，见图2。
图2 终端大模型应用评估流程图
6.2 评估方与被评估方
应考虑以下方面，确定评估方和被评估方：
a) 被评估方可为符合国家法律法规要求的，基于大模型技术开发的、通过智能终端提供服务的应用，包含系统级应用、第三方APP应用等。
b) 评估方可为智能终端设备或APP的开发者和运营者，也可为第三方实验室。
6.3 选择评估指标
评估方依据被评估方提供的技术说明文档等材料，结合被评估方提供的终端设备样品及终端声明支持的大模型应用，依据材料中涉及的应用能力与核心场景，选择对应的评估指标，并由此定义后续的评估计划和评估例项。
被评估方应提供对模型应用能力和场景的说明，由评估方作为选择具体测试项目的依据。
6.4 制定评估计划
应考虑以下方面，制定评估准则：
a) 评估方应根据评估目标，本着公平、公正、公开原则开展评估工作;
b) 评估准则内容应至少包括评估对象和范围、评估依据、评估环境、评估工具;
c) 评估准则中应明确评估通过/不通过准则。
6.5 模型评测
在进行模型评测时，应采用统一的测试数据集、一致的测试环境，以确保结果的可重复性和可比较性。测试方法应包括但不限于以下步骤：
a) 准备测试数据集：选择或创建适合评测目标的数据集;
b) 环境设置：确保测试环境(硬件、操作系统、依赖库等)与实际部署环境一致;
c) 测试执行：按照预定义的测试流程执行测试，记录必要的性能指标数据;
d) 结果分析：对收集到的数据进行分析，以评估模型性能。
在某些情况下，由于商业保密、技术限制或其他原因，应用可能无法提供其底层模型文件供评估使用。为适应这些情况并确保评估工作的全面性和公正性，本文件提供了以下指导原则和建议方法。
黑盒测试方法：对于无法获取模型文件的应用，可采用黑盒测试方法。通过设计一系列测试用例，输入特定的数据，并评估应用的输出结果，从而间接评估模型性能。
文档声明：对于无法提供模型文件的应用，可要求开发者或提供方提供详细的技术文档和性能声明，包括但不限于模型的基本信息、预期性能指标等， 以供评估参考。
7 模型性能
7.1 模型体积
评测模型轻量化之后部署在终端设备上所占的静态存储空间大小。
可使用文件系统的属性检查功能来确定模型文件的实际存储空间占用。
7.2 内存占用峰值
评测终端上部署的端侧大模型在模型推理过程中所占终端内存峰值。
使用终端设备性能监测工具，测试内存占用峰值。
7.3 响应时间
7.3.1 初始化耗时
评测应用在冷启动时，加载模型等相关资源所需要的时间。
记录从启动应用到模型准备就绪(即可以开始处理输入) 的时间。
7.3.2 首词响应时间
针对端侧语言大模型，评测用户完成执行操作到接收到响应所需的时间。
7.3.3 出词速率
针对端侧语言大模型，评测从第一个词出现至结束，单位时间平均的出词量。
7.3.4 出图速率
针对端侧图像类大模型，评测从用户完成执行操作到接收到生成图片所需的平均时间。在发起图像生成请求后，记录系统生成并显示第一张图像所需的时间。
7.4 功耗
评测端侧大模型应用执行一次完整功能所消耗的电量。
可使用功耗测试工具(如电池测试软件或硬件功耗监测设备)来测量在执行特定任务时设备的总功耗。在进行功耗测试时，应确保在测试期间关闭所有不相关的应用和服务，以便准确测量由被测应用引起的功耗变化。
8 应用能力
8.1 语言类应用
8.1.1 文本生成
8.1.1.1 概述
文本生成是指使用生成式AI和大模型生成新的自然语言文本的过程。它基于输入的上下文、规则、语法和语义，通过算法来产生具有一定逻辑和连贯性的文本片段。
8.1.1.2 主观评估指标
8.1.1.2.1 正确性
评估生成文本是否正确，符合社会普遍认知。
8.1.1.2.2 相关性
评估生成文本与文本生成需求所表达的意图是否相关。
8.1.1.2.3 可读性
评估生成文本是否易于理解和接受，词语搭配的正确性。
8.1.1.2.4 逻辑性
评估生成文本上下文逻辑是否合理，与现有事实比较逻辑是否合理。
8.1.1.2.5 个性化
评估生成文本是否能够满足特定用户的个人偏好、风格、用途或需求，用于衡量生成文本反映目标用户群体或个人的独特特征的能力。
个性化指标可包括：
——风格一致性：生成文本是否与特定用户的写作风格或语言习惯保持一致;
——内容定制：文本内容是否根据用户的兴趣、历史行为或提供的指导进行定制;
——情感色彩：生成的文本是否能够表达用户期望的情感或情绪倾向;
——用途适应性：文本是否适合用户特定的使用场景，如营销、社交媒体互动、个人笔记等;
——个人化引用：文本中是否包含对用户个人信息的引用，如名字、地点、事件等，以提高文本的相关性和吸引力。
8.1.1.3 客观评估指标
8.1.1.3.1 意图理解准确率
输入文本生成客观测试数据集，使被测设备生成文本。判断生成的文本是否能够正确理解用户的意图和文本生成需求，并生成对应的结果。根据公式(1)计算意图理解准确率。
W (1)
式中：
S ——测试服务数量;
S1——精准理解的生成文本数量;
S2——模糊理解的生成文本数量。
8.1.2 信息检索
8.1.2.1 概述
信息检索是通过语音、文字等自然语言形式，实现语义检索文本、 图片、视频功能。
8.1.2.2 主观评估指标
主观测评指标不适用于该测试项目。
8.1.2.3 客观评估指标
8.1.2.3.1 查准率
评估信息检索的检索正确性，返回的文档中包含了多少相关文档，计算方法见公式(2)。
Precision …………………………(2)
式中：
TP ——实际和生成结果均为相关的文档数量;
FP ——生成结果相关，实际不相关的文档数量;
8.1.2.3.2 查全率
评估信息检索的覆盖完整性，返回的文档占所有相关文档的比例，计算方法见公式(3)。
Recall …………………………(3)
式中：
TP ——实际和生成结果均为相关的文档数量;
FN ——实际相关，生成结果不相关的文档数量;
8.1.2.3.3 响应时间
测试检索成功的响应时间。
8.1.3 内容摘要
8.1.3.1 概述
内容摘要指通过捕获文档最重要部分(如新闻、书籍、文章等)，从而生成包含该信息的较短文本或关键词的过程。
8.1.3.2 主观评估指标
8.1.3.2.1 一致性
评估生成摘要内容是否准确，内容是否有与原文不符的事实性错误。。
8.1.3.2.2 相关性
评估摘要与原文的相关性，是否出现原文未提及内容。
8.1.3.2.3 完整性
评估摘要是否完整覆盖原文的关键信息。
8.1.3.2.4 可读性
评估生成摘要是否易于理解和接受、词语搭配是否正确、上下文是否连贯流畅。
8.1.3.2.5 精简性
评估摘要整体是否尽可能描述文本的关注点，表达精简。
8.1.3.3 客观评估指标
8.1.3.3.1 ROUGE-N
通过Rouge-N计算评估文本摘要生成的质量，计算方法见公式(4)。
Rouge-N
式中：
N ——即n-gram，文本内容滑动窗口字节数，参考值为2;
Count match ( gram n) ——参考文本和生成文本中共有的n-gram的数量;
Count ( gram n) ——参考文本中n-gram的数量;
8.1.4 语言翻译
8.1.4.1 概述
语言翻译指应用将一种自然语言文本自动翻译成另一种自然语言文本的过程。
8.1.4.2 主观评估指标
8.1.4.2.1 流畅度
评估翻译文本的语法连贯性与语句流畅程度，译文表述是否自然，是否符合语言习惯。
8.1.4.2.2 忠实度
评估译文是否忠实于原文，是否错译、漏译、增译。
8.1.4.3 客观评估指标
8.1.4.3.1 语种支持数
评估支持的语种数量。
8.1.4.3.2 BLEU
通过BLEU来评估生成译文与参考译文之间的对应关系，计算方法由公式(5)给出。
BLEUn
式中：
n_gram ——文本内容滑动窗口字节数，参考值为2;
Count clip (n_ gram ) ——某一个n_gram在标准译文中的个数;
Count (n_ gram 9 ) ——某一个n _ gram 9 在生成译文中的个数;
8.1.5 问题回答
8.1.5.1 概述
问答回答是利用大模型技术理解自然语言问题，从而来提供准确回答，可以是文本问答、图片问答。
8.1.5.2 主观评估指标
8.1.5.2.1 正确性
评估生成回答是否对应问题需求，符合社会普遍认知。
8.1.5.2.2 相关性
评估生成回答与问题需求所表达的意图是否相关。
8.1.5.2.3 可读性
评估生成回答是否易于理解和接受、词语搭配是否正确、上下文是否连贯流畅。
8.1.5.3 客观评估指标
8.1.5.3.1 EM
针对单项选择问题，评估问答系统在单轮对话中回答问题的准确率，具体计算方法见公式(6)。
EM …………………………(6)
式中：
c —— 模型生成的候选答案;
r —— 人工标注的正确答案;
Countexactmatch (c, r) ——模型生成答案和正确答案完全匹配的句子数量;
Count(c) —— 模型生成答案的数量。
8.1.5.3.2 多轮对话任务完成率
评估实现用户需求所需要的平均对话轮数，具体计算方法见公式(7)。
…………………………(7)
式中：
G ——多轮对话数据总数，参考值为100;
G1 ——实际完成任务的多轮对话数。
8.1.5.3.3 最大对话轮数
评估多轮问答系统最大可支持的对话轮数。
8.1.6 代码生成
8.1.6.1 概述
代码生成是利用生成式AI和大模型技术，针对给定的程序需求说明，生成符合需求的程序代码。
8.1.6.2 主观评估指标
8.1.6.2.1 可读性
评估生成代码变量命名、函数、表达式、注释是否易于理解，代码是否符合编码规范、命名是否达意、注释是否详尽、函数是否长短合适、模块划分是否清晰、是否符合高内聚低耦合等。
8.1.6.3 客观评估指标
8.1.6.3.1 编程语言支持能力
支持生成编程语言的种类,编程语言包括但不限于Python、C、C++、Java。
8.1.6.3.2 pass@k
用于评估代码生成质量和生成代码可用性的指标，计算方法由公式(8)给出。
pass@ k = EProblems …………………………(8)
式中：
k ——针对每个问题，生成的代码份数;
n——从生成的 k 份代码中抽取的代码份数;
c——抽取的n 份代码中能通过单元测试的个数。
8.2 图像类应用
8.2.1 图片生成
8.2.1.1 概述
图片生成是从现有数据集中生成新图片、图像的任务。目前将图片生成的任务分为文生图和图生图两种类型，前者由文本生成图片，以自然语言描述为输入，输出与该描述相匹配的图像;后者为图片生成图片，根据输入图片输出风格化、特效化等调整之后的图片。
8.2.1.2 主观评估指标
8.2.1.2.1 图片质量
评估生成图片是否符合人类对审美风格的平均主流偏好。
8.2.1.2.2 一致性
对于文生成任务，评估生成的图像与文本的一致程度。
8.2.1.2.3 相似性
对于图生图任务，评估生成的图像与原始图像的相似程度。
8.2.1.2.4 准确性
评估生成的图像是否正确地反映了输入的细节和特征，无论是文本描述还是输入图片中的内容。
8.2.1.3 客观评估指标
8.2.1.3.1 FID
通过FID计算真实图片与生成图片的特征向量间的度量，评估生成图片的语义信息与输入文字之间是否相关。特征向量由基准分类网络的分类层之前的输出特征构成。假设真实分布 P,和生成分布
pg建模为多维高斯分布，参数分布分别为 (,,2,)和 ，FID计算参见公式(9)：
…………………………
(9)
式中：
d2 FID距离;
(u,, E,) ， (g, Eg) 真实分布的均值方差;生成分布的均值和方差;
Tr ——表示矩阵的迹(矩阵对角元之和)。
8.2.1.3.2 CLIP
通过CLIP计算生成图像与参考图像之间图像特征层面的相似程度来评估图像生成的质量，计算方法参见公式(10)。
CLIP一S(c, v) = w*max(cos(c, v),0) . …………………………(10)
式中：
c ——CLIP模型中的参考图像编码;
v ——CLIP模型中的生成图像编码;
w ——标量系数，通常取2.5。
8.2.2 图像增强
8.2.2.1 主观评估指标
8.2.2.1.1 视觉清晰度
评估增强后的图像是否更加清晰，细节是否更加明显。
8.2.2.1.2 颜色保真度
评估增强后的图像颜色是否自然，是否保持了原始图像的色彩平衡。
8.2.2.2 客观评估指标
8.2.2.2.1 PSNR
通过PSNR来衡量图像重建或图像增强后的质量，计算方法由公式(11)和公式(12)给出。
PSNR = 20 . log …………………………(11)
式中：
MAXI ——图像可能的最大像素值(对于8位图像是255);
MSE ——均方误差，计算方法由公式(12)给出。
MSE I(i, j)_ K(i, j)]2 …………………………(12)
式中：
I ——原始图像的像素值;
K ——增强后的图像的像素值;
m ——图像的行数;
n ——图像的列数。
8.2.2.2.2 SSIM
通过SSIM来衡量增强图像和原始图像的结构信息变化，计算方法由公式(13)给出。
SSIM …………………………(13)
式中：
μx ——图像x的平均亮度;
σxy ——图像x和图像y的协方差;
c1 , c2 ——为维持稳定性加入的小常数;
8.2.3 AI 扩图
8.2.3.1 主观指标
8.2.3.1.1 图像质量
评估被测设备生成图像扩展化后的图片整体像质一致性和衔接质量情况。
8.2.3.1.2 语义连贯性
评估被测设备生成图像扩展化后的图片，整体视觉效果是否连贯，是否突兀或不协调的区域。
8.3 语音类应用
8.3.1 语音识别
8.3.1.1 概述
语音识别(ASR)是通过生成式AI和大模型技术识别口语并将其转录为书面文本的过程。
8.3.1.2 主观评估指标
主观测评指标不适用于该测试项目。
8.3.1.3 客观评估指标
8.3.1.3.1 词误率
通过词误率来衡量 ASR 识别单词或汉字的效果好坏，计算方法由公式(14)给出。
WER …………………………(14)
式中：
N ——识别语音中的字数或单词数量;
S ——识别文本中替换的字数或单词数量;
D ——识别文本中删除的字数或单词数量;
I ——识别文本中错误的字数或单词数量;
8.3.1.3.2 句误率
通过句误率来衡量 ASR 识别语句的效果好坏，计算方法由公式(15)给出。
SER …………………………(15)
式中：
Sentenceerror ——识别文本中出现错误的句子数;
Sentence ——识别文本中的句子总数;
8.3.2 语音合成
8.3.2.1 概述
语音合成是利用生成式AI和大模型技术将输入的文本合成为能够播放的人类语音的过程。
8.3.2.2 主观评估指标
8.3.2.2.1 自然度
评估合成语音是否清晰流畅，容易理解和接受。评估合成语音听起来像真实人类发音的程度。包括语音的流畅性、情感表达、语调变化、发音清晰度以及语速等方面。自然度高的语音合成系统能够产生听起来更像是由人类自然发出的语音，而不是机械或者单调的电子声音。
自然度的评估通常涉及以下几个方面，评分表见表1：
——流畅性：合成语音是否听起来流畅，语句间的过渡是否平滑，是否有不自然的停顿或者重音;
——情感表达：合成语音是否能够传达适当的情感和语气，比如快乐、悲伤、惊讶、怀疑等;
——语调和语速：合成语音的语调是否富有变化，语速是否适中，是否能够根据上下文适当调整;
——发音清晰度：合成语音中的单词发音是否清晰，是否容易理解;
——口音和方言：合成语音是否能够准确地模拟特定的口音或方言。
表1 自然度评分表
8.3.2.3 客观评估指标
通过发音字准确率和发音句准确率来评估文字合成语音过程中的发音准确程度。发音不准确的表现包括漏音吞音、多余发音、音素错误、音调错误等，具体计算方法由公式(16)和公式(17)给出。
8.3.2.3.1 发音字准确率
R me=(1-影)x100%. (16)
式中：
NY ——文本总字数，单位为个;
NOW ——发音错误字数(多种发音错误字数之和)，单位为个;
——发音字准确率。
8.3.2.3.2 发音句准确率
RS=(1-影)x100%. (17)
式中：
NS ——文本总句数，单位为个;
NSS ——发音错误句数，单位为个;
RSC ——发音句准确率。
8.4 多模态类应用
8.4.1 图片描述
8.4.1.1 主观评估指标
8.4.1.1.1 准确性
评估描述内容是否准确地反映了图像中的主要元素和活动。
8.4.1.1.2 完整性
评估描述内容是否包含了图像中所有重要的信息点。
8.4.1.1.3 创造性
评估描述是否能够以创新的方式表达图像内容，而不是仅仅复述显而易见的信息。
8.4.1.2 客观评估指标
8.4.1.2.1 Rouge-N
通过生成文本中包含参考文本的信息量来描述图片描述的正确性，计算公式参考公式(4)。
8.4.1.2.2 BLEU
通过生成文本与参考文本之间的精确匹配程度来描述图片描述的正确性，计算公式参考公式(5)。
8.4.2 图文检索
8.4.2.1 客观评估指标
8.4.2.1.1 准确率
检索结果中，相关结果的比例,计算公式参考公式(1)。
8.4.2.1.2 召回率
检索结果中，检索到的相关结果占所有相关结果的比例，计算公式参考公式(2)。
8.4.3 视频生成
视频生成是一种利用生成式AI和大模型技术，自动创建或编辑视频内容的过程。这项应用可以基于文本描述、图像、现有视频片段或其他形式的输入数据来生成新的视频。
8.4.3.1 主观评估指标
8.4.3.1.1 内容相关性
视频内容与给定主题或描述的匹配度。
8.4.3.1.2 准确性
视频内容是否足够准确，符合物理逻辑等，没有明显的构图错误。
8.4.3.1.3 视觉吸引力
视频对观众的视觉吸引力，包括色彩、构图等美学因素。
8.4.3.1.4 创意性
视频内容的创新和创意程度，是否提供了独特的视觉体验。
8.4.3.2 客观评估指标
8.4.3.2.1 清晰度
生成视频的分辨率和图像质量，通常以像素尺寸来衡量。
8.4.3.2.2 帧率
视频的流畅度， 以每秒帧数(FPS)计。
8.4.4 工具调用
利用生成式 AI 和大模型集成和调用外部工具或服务的能力。包括各种 API、库、框架、数据库、应用程序接口等。
8.4.4.1 客观评估指标
主要包括工具支持数量和调用成功率。
8.4.4.1.1 工具支持数量
应用集成和支持的外部工具或服务的数量，根据评估方声明支持的工具清单，通过实际调用这些工具或服务的功能来验证集成的有效性。
8.4.4.1.2 调用成功率
应用在调用这些集成工具或服务时的成功率。
通过在一定时间内或一定数量的样本上，重复调用集成工具或服务，记录每次调用的结果，区分成功和失败的调用，获取平均调用成功率。
9 核心场景
智能终端大模型应用的服务场景广泛，涵盖创作、工作、教育、生活、医疗、出行等多个领域。本标准从可用性、丰富性、专业性三个维度对应用进行评估。具体的服务场景描述和示例见表A.1。
智能终端大模型应用的评估应考虑以下三个主要维度：
——可用性：评估应用在特定场景下帮助用户实现其需求的能力。包括应用的响应时间、准确性、易用性和可靠性;
——丰富性：评估应用覆盖的核心场景及其任务类型的种类多样性。涉及应用能够处理的任务数量与任务的复杂性和多样性;
——专业性：评估应用在特定场景下符合领域专业性要求的能力。涉及应用在特定领域(如医疗、法律等) 的专业知识和准确性。
附 录 A
(资料性)
终端大模型应用的核心服务场景
本附录提供了智能终端大模型应用在不同场景下的应用示例， 旨在为开发者和评估机构提供参考，以更好地理解和评估这些应用的实际应用和效果。
智能终端大模型应用的核心服务场景及其详细描述见表A.1，帮助开发者和评估机构更好地理解和测试这些场景中的应用效果。
表A.1 终端大模型应用的核心服务场景
表A.1 终端大模型应用的核心服务场景(续)
评论