ICS 33.160
CCS M 74
团 体 标 准
T/CVIA 92-2022代替 T/CVIA 92-2021
彩电产品质量评价指标体系及测试方法
(智能电视交互评价规范)
Evaluation Index System and test method of color TV product quality
(Smart televison interactive evaluation specification)
2022 - 4- 21 发布 2022 - 4 - 21 实施
中国电子视像行业协会 发 布
目 次
前 言
本文件按照 GB/T 1.1-2020 《标准化工作导则 第1部分：标准化文件的结构和起草规则》的规定起草。
请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别这些专利的责任。本文件由中国电子视像行业协会提出并归口。
本文件起草单位：海信视像科技股份有限公司、TCL实业控股股份有限公司、深圳创维
-RGB电子有限公司、四川长虹电器股份有限公司、康佳集团股份有限公司、青岛海尔多媒体有限公司、北京小米电子产品有限公司。
本文件主要起草人：陈超、王伟、郝亚斌、冯晓曦、彭健锋、左剑、韩秋峰、刘国栋、景洪恩、刘从锋、邹文婷、罗少锋、田秀明、王富裕、王玉乾、张利利。
本文件为首次发布。
彩电产品质量评价指标体系及测试方法
(智能电视交互评价规范)
1 范围
本文件规定了智能电视交互评价的条件、项目和方法。
本文件适用于家庭场景下的智能电视产品，其他具有操作系统的智能终端(如智能机顶盒，平板电脑等)也可参考使用。
2 规范性引用文件
下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件;不注日期的引用文件，其最新版本(包括所有的修改单)适用于本文件。
SJ/T 11592 和 SJ/T 11688 界定的以及下列术语和定义适用于本文件。
3.1
智能电视 smart tv
具有操作系统，支持第三方应用资源实现功能扩展，支持多网络接入功能，具备智能人机交互，与其他智能设备进行交互的电视机。
3.2
多屏互动 multiscreen interaction
基于DLNA ，IGRS标准或Miracast等通信协议，在不同多媒体终端(如电视机，平板电脑，手机等)上进行多媒体(如音频，视频，图片)内容的传输，展示，控制等一列操作。
3.3
第三方智能设备 third-party intelligent device
能与智能电视进行交互的智能设备。
3.4
响应时间 response time
当使用者发出一项指令到被测试单元完成此项指令所需的时间。
3.5
产品说明 product description
以纸质提供或电视机内置的功能说明文档。
3.6
延迟时间 liatency
输入和输出之间的时间差，本文档适用于画面延迟和声音延迟。
3.7
图像识别 image identification
识别图像中的具体内容，并反馈识别结果。
3.8
增值交互 value-added interaction
包含手势识别、图像识别、社交分享、智能K歌、体感游戏、健康管理、智慧家居控制等与生活工作便捷相关的新型功能。
4 智能电视交互模型
智能电视交互模型见图1。
图1 智能电视交互模型
5 评价指标体系以及评价规则
5.1 评价指标准则
智能电视的交互按照语音识别、多屏互动、增值交互三个维度分别评价，具体见表1。每个维度的总分值均为100分。
表1 评价关系对应表
5.2 评价等级
根据表1的对应关系，按照第5.3章节和第6章对交互各项功能的评价，进而确定智能电视交互所达到的评价等级，见表2。
智能电视交互的评价等级通过智能指数来表征，智能指数可表示“mAnB”的形式(m=0,1,2,3,n<=3-m)
根据组合关系，其中3A0B标识智能水平最高，0A0B标识智能水平最差。示例，“3A0B ”表示3种交互，均达到了A级。
表2 评价等级
5.3 评价规则
5.3.1 语音识别功能
通过语音对电视进行操控，电视根据语音内容，做出正确的响应。
评分规则：满分100分，不具备该功能得0分，实际得分计算： ai (圆整到整数位)，详
情请见下表3：
表3 语音识别功能评价细则
5.3.2 多屏互动功能
用户可以通过第三方智能终端，对电视进行操作，媒体资源分享等操作。
评分规则：满分100分，不具备该功能得0分，实际得分计算： bi (圆整到整数位)，
详情请见下表4：
表4 多屏互动功能评价细则
5.3.3 增值交互功能
智能电视包含手势识别、图像识别、社交分享、智能K歌、体感游戏、健康管理、智慧家居控制等与生活工作便捷相关的新型功能。
评分规则：满分100分，不具备该功能得0分，实际得分计算： Σi1
ci (圆整到整数位)，
详情请见下表5：
表5 增值交互功能评价细则
6 评价方法
6.1 评价条件
6.1.1 测试环境
评价应在下列测试用标准的大气、电源和网络带宽等条件下进行：
——温度：15℃-35℃;
——相对湿度：25%-75%;
——气压：86 kPa-106 kPa;
——电源：220×(1±5%)V ，50X(1±2%)Hz;
——背景噪声声级 ≤ 40 dB;
——互联网网络带宽：10 Mbit/s;
——局域网网络带宽：50 Mbit/s;
——针对6.3.5.2传屏响应时间的测试，需在屏蔽室中进行，屏蔽室要求：频率2 GHz- 6 GHz，衰减量≥80 dB。
6.1.2 系统和仪表
a) 秒表：用于测试响应时间，精度不低于0.1秒。
b) 第三方智能设备：用于测试智能电视多屏互动功能，符合交互协议要求，是能够安装交互应用的智能终端。
c) 摄像头：用于测试响应时间，帧速度不低于120帧/秒。
d) 录音设备：用于测试声音传输的延迟时间。
6.2 语音识别
6.2.1 接收语音的方式
按照产品说明，通过下表6中的任一方式接收语音，如果电视接收语音成功，则认为电视具有此功能。
表6 接收语音方式
6.2.2 语音识别内容
按照产品说明，使用语音输入表7的词条，电视可以做出符合表7的响应，则认为电视支持该功能。其中词条内容涵盖电视的基本操作以及用户的衣食住行。语音类型包括普通话以及方言，见表8，使用表8的语音类型，电视可以正常响应，则认为电视支持该功能。
注：中括号中的关键槽位可根据产品说明进行替换。
表7 语音词条
表 8 语音类型
6.2.3 语音识别性能
参见《SJ/T 11712-2018智能电视语音识别 测试方法》 6 智能电视语音识别系统性能测试方法。
6.3 多屏互动
6.3.1 多屏互动种类
根据产品说明的描述判断所支持多屏互动的种类，参考下表9。选择与被测电视使用相同多屏互动标准的第三方设备，针对每一类多屏互动标准分别评价6.3.2-6.3.5。
表9 多屏互动协议种类
6.3.2 设备发现
根据产品说明的描述，若能搜到第三方智能设备或者第三方智能设备能够搜索到智能电视，则说明其支持该类多屏互动的设备发现功能。
6.3.3 多媒体分享
按照产品说明的描述，使用第三方智能设备将视频、音频、图片文件、屏幕镜像推送到电视上，或使用智能电视将视频、音频、图片文件以及屏幕镜像推送到第三方智能设备上，若能正确播放，则说明其支持该类多屏互动的多媒体推送功能。
6.3.4 智能控制
按照产品说明的描述使用第三方智能设备控制电视的频道切换，音量增减，关机等功能，对智能电视进行非接触式控制。若能正确控制，则说明其支持该类多屏互动的智能控制功能。
6.3.5 多屏互动性能
6.3.5.1 推送多媒体响应时间
测试标准：推送多媒体(以1080 P视频为准)响应时间(S0);以完全做出推送动作为开始时间(S1)，以电视响应推送结果的第一个帧画面作为结束时间(S2)，S0=S2-S1。
测试环境：参见6.1 测试环境;
测试方法：
a) 测试过程中，全程使用摄像头进行录像。
b) 推送视频，电视展示推送内容。
c) 停止录像，使用分帧软件(例如：FFMPEG)将录制的视频进行分帧，根据测试标准中的方法，选取开始时间以及结束时间，计算响应时间。
d) 重复上述操作 5 次，取平均值作为最终测试结果。
6.3.5.2 传屏响应时间
测试标准：传屏响应时间(S0);以完全做出推送动作为开始时间(S1)，以电视响应推送结果的第一个帧画面作为结束时间(S2)，S0=S2-S1。
测试环境：参见6.1 测试环境;
测试方法：
a) 测试过程中，全程使用摄像头进行录像。
b) 第三方设备推送屏幕镜像，电视展示推送内容。
c) 停止录像，使用分帧软件(例如：FFMPEG)将录制的视频进行分帧，根据测试标准中的方法，选取开始时间以及结束时间，计算响应时间。
d) 重复上述操作 5 次，取平均值作为最终测试结果。
6.3.5.3 推送成功率
测试标准：推送成功率K由下式得出：
K = (L1/L) × 100% (1)
式中：K – 推送成功率;
L – 推送总次数;
L1 – 推送成功总次数。
测试环境：参见6.1 测试环境;
测试方法：
选取视频、音频、 图片、屏幕镜像，每个多媒体推送25次，统计成功推送的次数，根据测试表中的方法计算推送成功率。
6.4 增值交互
6.4.1 手势识别
按照产品说明，通过表10中的任一方式捕捉手势，如果电视捕捉手势成功，并且电视做出符合产品说明的响应，则认为电视具有此功能。
表10 手势识别方式
6.4.2 图像识别
按照产品说明，通过下表11中的任一方式截图，如电视截图，识别成功，并且电视做出符合产品说明的响应，则认为电视具有此功能。
表11 图像识别方式
6.4.3 社交分享
根据产品说明，电视可以与其他电视、手机以及其他智能终端进行视频通话，可以主动发起或者被动接收通话邀请。
根据产品说明，电视可以与其他电视、手机以及其他智能终端进行社交内容(视频、音频、图片、文字)的分享，或者可以查看其他电视、手机以及其他智能终端分享的社交内容。
根据产品说明， 电视可以与其他电视、手机以及其他智能终端进行其他社交活动。
6.4.4 智能 K 歌
根据产品说明，电视可以通过遥控器，手机以及其他外设进行K歌。
6.4.5 体感游戏
根据产品说明，电视可以通过遥控器、摄像头、手机以及其他外设进行体感类的游戏。
6.4.6 健康管理
根据产品说明，可以通过遥控器、摄像头、手机以及其他外设进行健康管理。例如，超过一定时间观看电视后，给出相应的休息提示。例如，在一定距离内观看电视，给出相应的健康距离提示。例如，少儿观看电视时，不适合儿童的媒体无法观看。
6.4.7 智慧家庭控制
根据产品说明，可以通过电视、遥控器、手机以及其他外设进行智能家居设备的控制。例如，电灯，插座，音箱，空调，冰箱等。
6.4.8 自主提报功能
根据产品说明，自主提报增值交互相关的功能，电视做出符合产品说明的响应，则认为电视支持该功能。自主提报功能数量不能超过5个。
6.4.9 增值交互性能
6.4.9.1 手势响应时间
测试标准：手势响应时间(S0);以完全做出手势为开始时间(S1)，以电视响应手势结果的第一个变化画面作为结束时间(S2)，S0=S2-S1。
测试环境：参见6.1 测试环境;
测试方法：
a) 测试过程中，全程使用摄像头进行录像。
b) 根据产品说明，选取手势命令进行操作，电视做出符合产品说明的响应。
c) 停止录像，使用分帧软件(例如：FFMPEG)将录制的视频进行分帧，根据测试标准中的方法，选取开始时间以及结束时间，计算响应时间。
d) 重复上述操作 5 次，取平均值作为最终测试结果。
6.4.9.2 手势识别准确率
测试标准：识别准确率M由下式得出：
M = (N1/N)× 100% (2)
式中：M – 识别准确率;
N – 识别总次数;
N1 – 识别正确次数。
测试环境：参见6.1 测试环境;
测试方法：
根据产品说明，选取 n 个手势，每个手势识别 20 次，统计正确识别的次数，根据测试表中的方法计算识别准确率。
6.4.9.3 截图成功响应时间
测试标准：截图成功响应时间(S0)。以完全做出截图操作为开始时间(S1)，以截图完全显示作为结束时间(S2);S0 = S2 – S1
测试环境：参见6.1 测试环境
测试方法：
a) 测试过程中，全程使用摄像头进行录像。
b) 根据产品说明，选取一个场景进行操作，电视做出符合产品说明的响应。
c) 停止录像，使用分帧软件(例如：FFMPEG)将录制的视频进行分帧，根据测试标准中的方法，选取开始时间以及结束时间，计算响应时间。
d) 重复上述操作 10 次，取平均值作为最终测试结果。
6.4.9.4 图像识别准确率
测试标准：识别准确率M由下式得出：
M = (N1/N)× 100% (3)
式中：M – 识别准确率;
N – 识别总次数;
N1 – 识别正确次数。
测试环境：参见4.1 测试环境;
测试方法：
根据产品说明，选取n个场景，每个场景识别20次，统计正确识别的次数，根据测试表中的方法计算识别准确率。
6.4.9.5 视频通话延时
测试标准：通话延时时间小于1秒;通过计算两端通话视频之间的画面延时时间获得。
测试环境：参见6.1 测试环境;
测试方法：
a) 将秒表放置在电视取景的范围内，电视画面可以清晰显示秒表时间。
b) 将电视与通话设备放置在采集摄像头的范围内，可以同时清晰的采集电视与通话设备的画面。
c) 选取一帧采集画面，将电视屏幕上的秒表值与通话设备上的秒表值相减，得到延时时间。
d) 重复上述操作 5 次，取平均值作为最终测试结果。
6.4.9.6 智能 K 歌延时
测试标准：K歌延时时间小于100毫秒;通过计算输入声音与电视输出声音的时间差值获得。
测试环境：参见6.1 测试环境;
测试方法：
a) 将 K 歌设备、电视以及录音设备放置在一起，保证录音设备可以同时清晰的采集到 K歌设备的输入声音以及电视的输出声音。
b) 使用手机或者电脑播放 85dB 的音频文件，同时使用录音设备进行声音采集。
c) 使用音频工具(例如 adobe audition)对采集的音频进行分析，计算两个波峰(第一个波峰为输入声音，第二个波峰为输出声音)之间时间差值，此时间为延时时间。
d) 重复上述操作 5 次，取平均值作为最终测试结果。
评论