GB/T 45286-2025 信息技术 手持式移动设备增强现实系统技术规范

ICS35.240.01
CCS L70
中华人民共和国国家标准
GB/T45286—2025
信息技术 手持式移动设备增强现实系统技术规范
Informationtechnology—Technicalspecificationoftheaugmentedreality
systemforhandheldmobiledevices
2025-01-24发布2025-01-24实施
国家市场监督管理总局
国家标准化管理委员会发布

目 次
前言………………………………………………………………………………………………………… Ⅲ
1 范围……………………………………………………………………………………………………… 1
2 规范性引用文件………………………………………………………………………………………… 1
3 术语和定义……………………………………………………………………………………………… 1
4 缩略语…………………………………………………………………………………………………… 3
5 系统结构………………………………………………………………………………………………… 3
6 功能要求………………………………………………………………………………………………… 4
6.1 在线跟踪定位……………………………………………………………………………………… 4
6.2 尺度估计…………………………………………………………………………………………… 4
6.3 标志物识别跟踪…………………………………………………………………………………… 5
6.4 三维重建…………………………………………………………………………………………… 5
6.5 光照估计…………………………………………………………………………………………… 6
6.6 人脸识别跟踪……………………………………………………………………………………… 6
6.7 手势识别跟踪……………………………………………………………………………………… 6
6.8 虚实遮挡…………………………………………………………………………………………… 6
7 性能要求………………………………………………………………………………………………… 6
7.1 在线跟踪定位……………………………………………………………………………………… 6
7.2 尺度估计…………………………………………………………………………………………… 7
7.3 标志物识别跟踪…………………………………………………………………………………… 7
7.4 三维重建…………………………………………………………………………………………… 8
7.5 光照估计…………………………………………………………………………………………… 8
7.6 人脸识别跟踪……………………………………………………………………………………… 9
7.7 手势识别跟踪……………………………………………………………………………………… 9
7.8 虚实遮挡…………………………………………………………………………………………… 9
7.9 运行………………………………………………………………………………………………… 9
8 测试方法………………………………………………………………………………………………… 9
8.1 测试条件…………………………………………………………………………………………… 9
8.2 功能测试方法……………………………………………………………………………………… 10
8.3 性能测试方法……………………………………………………………………………………… 13
附录A (规范性) 增强现实系统相关手持式移动设备传感器要求…………………………………… 17
A.1 通则……………………………………………………………………………………………… 17
A.2 摄像头要求……………………………………………………………………………………… 17
A.3 IMU要求………………………………………………………………………………………… 18
Ⅰ
GB/T45286—2025
附录B(资料性) 增强现实系统性能测试数据集说明………………………………………………… 19
B.1 基准测试数据集…………………………………………………………………………………… 19
B.2 人脸识别跟踪数据集WFLW …………………………………………………………………… 22
附录C(资料性) 照度测量方法………………………………………………………………………… 24
Ⅱ
GB/T45286—2025
前 言
本文件按照GB/T1.1—2020《标准化工作导则 第1部分:标准化文件的结构和起草规则》的规定
起草。
请 注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。
本文件由全国信息技术标准化技术委员会(SAC/TC28)提出并归口。
本文件起草单位:浙江商汤科技开发有限公司、浙江大学、中国电子技术标准化研究院、厦门赛西科
技发展有限责任公司、山东大学、北京邮电大学、OPPO 广东移动通讯有限公司、雷鸟创新技术(深圳)
有限公司、海信视像科技股份有限公司、北京理工大学、青岛理工大学、深圳市安之眼科技有限公司、
深圳市慧明捷科技有限公司、广州市影擎电子科技有限公司、深圳市海淇展示文化有限公司、南昌虚拟
现实研究院股份有限公司、咪咕文化科技有限公司、中国石油大学(华东)、广州卓远虚拟现实科技股份
有限公司、南京昀光科技有限公司、北京津发科技股份有限公司、云南远信科技有限公司、湖南美创数字
科技有限公司、尚阳科技股份有限公司、广州中海电信有限公司、北京世纪好未来教育科技有限公司、
深圳市瀚思通汽车电子有限公司、四川省商投信息技术有限责任公司、圆周率科技(常州)有限公司、
南京江行联加智能科技有限公司、珠海广浩捷科技股份有限公司、联通沃音乐文化有限公司、深圳市三
德大康电子有限公司、珠海莫界科技有限公司、中邮世纪(北京)通信技术有限公司。
本文件主要起草人:章国锋、姜翰青、蒋慧、潘榕、李亚健、盛崇山、耿一丹、王楠、曾洁琪、刘浩敏、
甄佳楠、乔秀全、秦学英、康峰、陈成军、王涌天、宋维涛、李宏伟、王乐、毕蕾、张君杰、李寅、曾翔宇、刘世明、
黄惺、邹金萍、孙其民、庞善臣、姜军毅、邹成、赵起超、侯彦文、杨红爵、李向阳、李迪、梁彩虹、郑梦丽、
柯绍棠、赵雪梅、沈靖程、庞海天、谢永良、刘子韬、李韩、王兆民、王琳、杨创潮。
Ⅲ
GB/T45286—2025

信息技术 手持式移动设备增强现实系统
技术规范
1 范围
本文件给出了手持式移动设备增强现实系统的结构,规定了功能要求与性能要求,描述了相应测试
方法。
本 文件适用于手持式移动设备增强现实系统的设计、生产、应用和维护。
2 规范性引用文件
下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中,注日期的引用文
件,仅该日期对应的版本适用于本文件;不注日期的引用文件,其最新版本(包括所有的修改单)适用于
本文件。
GB/T38247—2019 信息技术 增强现实 术语
3 术语和定义
GB/T38247—2019界定的以及下列术语和定义适用于本文件。
3.1
手持式移动设备 handheldmobiledevice
具备摄像头、显示屏、网络功能以及可检测其方位和运动信息,且能够手持使用的便携式终端设备。
注:包括具备六自由度定位功能的移动通信终端和平板式计算机。
3.2
增强现实 augmentedreality
采用以计算机为核心的现代高科技手段生成的附加信息对使用者感知到的真实世界进行增强的环
境,生成的信息以视觉、听觉、味觉、嗅觉、触觉等生理感觉融合的方式叠加至真实场景中。
[来源:GB/T38247—2019,2.1.2]
3.3
增强现实系统 augmentedrealitysystem
通过跟踪注册、显示和交互,将计算机生成的虚拟信息与真实环境实时、有机融合的系统。
3.4
真实环境 actualenvironment
人类所处的不需要借助装备就能感知的包含多物理对象的真实世界。
[来源:GB/T38247—2019,2.2.4,有修改]
3.5
虚拟对象 virtualobject
计算机生成的具有几何形状、特定格式或特定行为的对象。
注:其原型可以是现实对象,也可以是完全虚构的对象。
[来源:GB/T38247—2019,2.2.1]
1
GB/T45286—2025
3.6
二维标志物 2dimensionalmarker
预先设定的具有特殊编码或图案的二维图像,通过检测、跟踪或识别该二维图像,在场景、图像或视
频中估计出其相对于手持式移动设备的位置和朝向。
3.7
三维标志物 3dimensionalmarker
预先设定的具有特殊形状或纹理的三维物体,通过检测、跟踪或识别该三维图像,在场景、图像或视
频中估计出其相对于手持式移动设备的位置和朝向。
3.8
锚点 anchorpoint
将虚拟物体放置在环境过程中所使用的基准点。
[来源:GB/T38247—2019,2.2.45]
3.9
云端 cloudend
供具备访问权限的手持式移动设备远程接入、具备计算和存储功能的系统。
3.10
定位 localization
获取确定指定对象的空间六自由度位置和姿态信息。
3.11
重定位 relocalization
当跟踪定位丢失时,手持式移动设备根据之前跟踪过的历史位置和朝向,通过触发对手持式移动设
备的重新定位机制来获取正确的位姿信息,并重置手持式移动设备当前的位姿。
3.12
六自由度在线跟踪 real-timesixdegreeoffreedomtracking
实时计算手持式移动设备相对真实场景的六自由度位置和姿态。
3.13
光照估计 illuminationestimation
从传感器或摄像机视图中分析计算物理场景的光源照度分布信息的过程。
[来源:GB/T38247—2019,2.2.50]
3.14
尺度估计 scaleestimation
在系统中获得到物理世界的长度尺寸信息的过程。
[来源:GB/T38247—2019,2.2.51]
3.15
绝对位置误差 absolutepositionerror
增强现实系统所测得的当前时刻手持式移动设备位置的真实值与估计值之间的平均偏差。
3.16
真值 groundtruth
在手持式移动设备增强现实系统所在的真实环境下,被测量目标所体现的真实数值。
2
GB/T45286—2025
4 缩略语
下列缩略语适用于本文件。
AR:增强现实(AugmentedReality)
CPU:中央处理器(CentralProcessingUnit)
FPS:每秒帧数(FramesPerSecond)
IMU:惯性测量单元(InertialMeasurementUnit)
TOF:飞行时间(TimeOfFlight)
VISLAM:视觉惯性同步定位与地图构建(Visual-InertialSimultaneousLocalizationandMapping)
6DoF:六自由度(SixDegreesofFreedom)
5 系统结构
手持式移动设备增强现实系统处理单元由在线跟踪定位、尺度估计、标志物识别跟踪、三维重建、虚
实遮挡、光照估计、人脸识别跟踪、手势识别跟踪等模块组成,其中人脸识别跟踪、手势识别跟踪、云端重
定位、云端三维重建和云端标志物识别是可选模块。在线跟踪定位模块利用手持式移动设备的输入数
据计算6DoF位姿;尺度估计模块利用输入数据计算尺度信息;三维重建模块利用6DoF位姿、尺度信
息和深度流数据重建场景的三维模型;虚实遮挡模块利用视频流和深度流实现虚拟物体与现实环境的
遮挡效果;标志物识别跟踪模块基于视频流实现标志物的识别与跟踪;光照估计模块利用视频流实现光
照信息的解算;人脸识别跟踪模块对视频流中的人脸关键点进行识别与跟踪;手势识别跟踪模块对视频
流中的手部关键点进行识别与跟踪。如果手持式移动设备具备云计算服务,还支持将数据通过网络传
输到云服务端实现更高效率的云端重定位、云端标志物识别和云端三维重建,并将解算获得的6DoF位
姿、标志物信息与三维模型通过网络传输回手持式移动设备处理单元;6DoF位姿、三维模型、虚实遮
挡、标志物识别与跟踪、光照以及人脸关键点和手部关键点这些信息汇总实现真实感的增强现实虚实融
合效果,并在手持式移动设备的显示屏上呈现。手持式移动设备增强现实系统的结构图见图1。增强
现实系统相关手持式移动设备传感器应符合附录A 的规定。
注:虚实融合模块包含在输出端,负责将6DoF位姿、三维模型、虚实遮挡、标志物识别与跟踪、光照以及人脸关键
点和手部关键点等信息进行处理,实现增强现实虚实融合效果和交互效果,并将处理后的信息输出至显示屏
进行呈现。
3
GB/T45286—2025
注:虚线表示的模块单元或信息/控制流为可选项。
图1 手持式移动设备增强现实系统结构图
6 功能要求
6.1 在线跟踪定位
6.1.1 六自由度在线跟踪
手持式移动设备增强现实系统应支持在线估计设备的6DoF位姿。
6.1.2 本地重定位
当跟踪定位丢失时,手持式移动设备增强现实系统应支持在本地重新定位并重置设备当前的位姿。
6.1.3 云端重定位
如果系统具备云端服务器协同能力,当跟踪定位丢失时,手持式移动设备增强现实系统应支持在云
端重新定位并重置设备当前的位姿。
6.2 尺度估计
手持式移动设备增强现实系统应符合以下要求:
a) 支持获取物理世界的尺度信息;
b) 支持虚拟场景与物理世界注册在同一尺度的坐标系下;
c) 能够实现虚拟对象与物理世界在相同尺度下的虚实融合的效果。
4
GB/T45286—2025
6.3 标志物识别跟踪
6.3.1 二维标志物跟踪
手持式移动设备增强现实系统应符合以下要求:
a) 支持对定义好的场景二维标志物进行识别;
b) 支持对定义好的场景二维标志物进行6DoF位姿跟踪;
c) 在识别到预定义的特定标志时,能够触发增强现实效果。
6.3.2 三维标志物识别跟踪
手持式移动设备增强现实系统应符合以下要求:
a) 支持对真实场景中三维标志物体的纹理或结构信息进行预处理;
b) 通过将来自摄像头的实时信息与处理过的信息进行比较,实现二维和三维信息的匹配;
c) 支持理解场景中三维物体的位置和朝向。
6.3.3 云端标志物识别
如果系统具备云端服务器协同能力,手持式移动设备增强现实系统应符合以下要求:
a) 对用户上传到云端的带二维标志物的图像帧,通过云端服务器计算资源进行识别,并返回该帧
二维标志物的位置和朝向信息至用户端;
b) 对用户上传到云端的带三维物体的图像帧,通过云端服务器计算资源进行识别,并返回该帧三
维物体的位置和朝向信息至用户端。
6.4 三维重建
6.4.1 平面检测及求锚点
6.4.1.1 单一平面重建及求锚点
手持式移动设备增强现实系统应符合以下要求:
a) 支持水平面和竖直平面的检测;
b) 支持理解真实场景的主水平面,并在其上求出锚点或对其进行渲染;
c) 支持对平面上的三维点进行识别、判定平面位置并进行拓展;
d) 支持对场景中单一平面的检测;
e) 支持对单一平面进行重建并求解锚点位置和法向。
6.4.1.2 多个平面重建及求锚点
对于包含多个平面的场景,手持式移动设备增强现实系统应符合以下要求:
a) 支持理解真实场景的多个平面(包括水平面或竖直平面),并在其上求出锚点或对其进行渲染;
b) 支持对平面上的三维点识别、判定平面位置并进行拓展;
c) 支持对场景中多个平面进行检测;
d) 支持对多个平面进行重建并求解锚点位置和法向。
6.4.2 稠密点云重建及求锚点
当在较为复杂的非平面场景上置放虚拟物体时,手持式移动设备增强现实系统应符合以下要求:
a) 支持渐增式的实时拓展;
5
GB/T45286—2025
b) 支持重建场景的稠密三维点云信息,点云中的每个三维点包含位置、法向、颜色等信息;
c) 支持求解稠密点云的锚点位置和法向。
6.4.3 稠密网格重建及求锚点
当在真实场景上构建遮挡、阴影、碰撞等复杂的虚实融合效果时,手持式移动设备增强现实系统应
符合以下要求:
a) 支持重建场景稠密的三维网格信息;
b) 支持求解稠密网格的锚点位置和法向。
6.4.4 云端三维重建
如果系统具备云端服务器协同能力,手持式移动设备增强现实系统应符合以下要求:
a) 支持利用云端服务器计算资源对用户端上传的关键帧图像进行稠密点云和稠密网格重建;
b) 支持渐增式的实时拓展;
c) 支持将重建的稠密点云和稠密网格结果与统一坐标对齐;
d) 支持读取或显示重建信息。
6.5 光照估计
手持式移动设备增强现实系统应支持从传感器或者摄像头视图中估计出用于虚拟对象、虚拟场景
渲染的物理场景的全局光照环境信息。
6.6 人脸识别跟踪
如果系统具备人脸识别跟踪能力,手持式移动设备增强现实系统应符合以下要求:
a) 支持检测眼睛、眉毛、鼻子、嘴巴、脸部轮廓等一系列不少于98个面部关键点,详见附录B的
图B.8;
b) 在大的头部姿态、不同的光照条件或极端表情等复杂条件下能够实现准确的关键点跟踪。
6.7 手势识别跟踪
如果系统具备手势识别跟踪能力,手持式移动设备增强现实系统应符合以下要求:
a) 支持检测手指尖、手关节、手掌等一系列不少于21个手部关键点,详见图B.6;
b) 在不同手势动作、手部运动、光照条件下能够实现准确的关键点跟踪。
6.8 虚实遮挡
手持式移动设备增强现实系统应支持虚拟物体与真实环境之间的遮挡,包括虚拟对象与静态背景
环境之间的遮挡和虚拟对象与动态前景之间的遮挡。
7 性能要求
7.1 在线跟踪定位
7.1.1 六自由度在线跟踪
在本文件所述基准测试数据集所涵盖的运动类型和测试场景下,手持式移动设备增强现实系统
6DoF在线跟踪应符合以下要求。
a) 跟踪帧率不低于24FPS。
6
GB/T45286—2025
b) 跟踪准确率不低于95%,即测试数据集中的同时符合以下要求的帧数不低于总帧数的95%:
1) 绝对位置误差(APE)小于10cm 或小于摄像头运动轨迹最大距离的5%(以较大值为
准);
2) 绝对旋转误差(ARE)小于6°;
3) 与前0.1s时刻的相对位置误差(PRE)不超过3cm;
4) 与前0.1s时刻的角度误差不超过2°。
c) 初始化质量指标平均不超过5,计算公式详见8.3.1.1b)。
d) 跟踪鲁棒性指标平均不超过2,计算公式详见8.3.1.1b)。
7.1.2 本地重定位
手持式移动设备增强现实系统本地重定位应符合以下要求。
a) 重定位成功率不低于90%,即测试数据集中的同时符合满足以下1)和2)要求的重定位次数
不低于符合要求1)的重定位次数的90%:
1) 用户将手持式移动设备重置回到未跟踪丢失之前的位置完成重定位;
2) 重定位的位置与未跟踪丢失之前估计的位置偏差小于5cm 或小于摄像头所拍摄画面深
度的中值的5%(以较大值为准)。
b) 在重定位成功的情况下,重定位时间不超过2s。
7.1.3 云端重定位
手持式移动设备增强现实系统云端重定位符合以下要求:
a) 重定位成功率不低于90%,即测试数据集中的重定位位置与真值的误差小于10cm 或小于摄
像头所拍摄画面深度的中值的5%(以较大值为准);
b) 在重定位成功的情况下,重定位时间不超过2s。
7.2 尺度估计
手持式移动设备增强现实系统对真实环境的尺度估计值与其真实值的偏差不超过5%。
7.3 标志物识别跟踪
7.3.1 二维标志物识别跟踪
手持式移动设备增强现实系统二维标志物识别跟踪应符合以下要求:
a) 单个平面标志物的跟踪帧率不低于24FPS;
b) 在识别成功的情况下,单个平面标志物识别的耗时不超过0.5s;
c) 识别跟踪的准确率不低于90%,即测试数据集中的符合估计位姿下二维标志物的投影轮廓与
真值之间的平均偏差不超过5个像素或真值轮廓宽高较大值的1%(以较大值为准)的二维标
志物帧数不低于总帧数的90%。
7.3.2 三维标志物识别跟踪
手持式移动设备增强现实系统三维标志物识别跟踪应符合以下要求:
a) 帧率不低于24FPS;
b) 在识别成功的情况下,识别时间不超过1s;
c) 跟踪位置与真值的误差不超过3%,即不大于物体运动轨迹的最大距离的3%;
d) 识别跟踪的准确率不低于90%,即测试数据集中的符合估计位姿下三维标志物的投影轮廓与
7
GB/T45286—2025
真值之间的平均偏差不超过5个像素或真值轮廓宽高较大值的1%(以较大值为准)的三维标
志物帧数不低于总帧数的90%。
7.3.3 云端标志物识别
在识别成功的情况下,手持式移动设备增强现实系统的云端标志物识别时间(不含网络传输延时)
应不超过0.5s。
7.4 三维重建
7.4.1 平面检测及求锚点
手持式移动设备增强现实系统平面检测及求锚点应符合以下要求:
a) 处理帧率与7.1.1中的6DoF跟踪帧率一致;
b) 平面位置精度误差不超过5%。
注:平面位置精度误差即检测平面与真值平面之间的平均距离与待检测平面最大轴向尺寸(如小于2m,按2m 计
算)的比值。
7.4.2 稠密点云重建及求锚点
手持式移动设备增强现实系统稠密点云重建及求锚点应符合以下要求:
a) 处理帧率与7.1.1中的6DoF跟踪帧率一致;
b) 稠密点云的位置精度误差不超过3%。
注:稠密点云位置精度误差即重建点云与真值点云之间的平均距离与待重建点云模型最大轴向尺寸(如小于
2m,按2m 计算)的比值。
7.4.3 稠密网格重建及求锚点
手持式移动设备增强现实系统稠密网格重建及求锚点应符合以下要求:
a) 处理帧率与7.1.1中的6DoF跟踪帧率一致;
b) 稠密网格的几何精度误差不超过3%。
注:稠密网格位置精度误差即重建网格与真值网格之间的平均距离与待重建网格模型最大轴向尺寸(如小于
2m,按2m 计算)的比值。
7.4.4 云端三维重建
手持式移动设备增强现实系统云端三维重建应符合以下要求:
a) 重建的稠密点云的几何精度误差不超过2%;
b) 重建的稠密网格的几何精度误差不超过2%。
注:稠密点云位置精度误差即重建点云与真值点云之间的平均距离与待重建点云模型最大轴向尺寸(如小于
2m,按2m 计算)的比值,稠密网格位置精度误差即重建网格与真值网格之间的平均距离与待重建网格模型
最大轴向尺寸(如小于2m,按2m 计算)的比值。
7.5 光照估计
手持式移动设备增强现实系统光照估计应符合以下要求:
a) 对于环境变化的响应时间不超过1s;
b) 场景光照颜色RGB的每个分量估计值与真值的对应分量误差不超过0.3(光照颜色RGB值在
色彩空间中统一归一化为0~1的范围)。
8
GB/T45286—2025
7.6 人脸识别跟踪
如果系统具备人脸识别跟踪能力,手持式移动设备增强现实系统人脸识别跟踪应符合以下要求:
a) 跟踪帧率不小于20FPS;
b) 关键点平均跟踪召回率不低于90%。
7.7 手势识别跟踪
如果系统具备手势识别跟踪能力,手持式移动设备增强现实系统手势识别跟踪应符合以下要求:
a) 跟踪帧率不小于10FPS;
b) 关键点平均跟踪召回率不低于90%。
7.8 虚实遮挡
手持式移动设备增强现实系统虚实遮挡应符合连续10s以上的画面虚实遮挡错误率不超过10%
的要求。
注:虚实遮挡错误率为遮挡关系出现错误的画面帧数占总帧数的比值。
7.9 运行
7.9.1 CPU 和内存占用
在单目方案中,手持式移动设备增强现实系统在运行基本的跟踪和稀疏点云地图构建时,宜符合以
下要求:
a) CPU 占用率不超过50%;
b) 在不小于25m2 的房间内,内存占用量不超过500MB。
7.9.2 运行效率
手持式移动设备增强现实系统的运行帧率应不小于20FPS。
8 测试方法
8.1 测试条件
8.1.1 功能测试环境
在不小于25m2 的测试环境中,按以下要求布置测试场景,为在线跟踪定位、尺度估计、标志物识别
跟踪、三维重建、光照估计、虚实遮挡等模块的测试做准备:
a) 在房间的天花板上布置红绿蓝白四种光源模式,每种光源均为漫射光,保证场景中的光线均匀
照射,允许每种光源的可调节亮度;
b) 场景中包含平面结构和非平面结构;
c) 场景中包含二维标志物和三维标志物。
8.1.2 性能测试数据集
8.1.2.1 跟踪定位与三维重建测试数据集
需按照以下步骤准备跟踪定位与三维重建测试数据集:
a) 保证光照充足,手持移动设备在测试环境中进行不同方式的运动并保存设备的视频流、IMU
9
GB/T45286—2025
流和标定参数等数据;
b) 在步骤a)进行数据采集的同时,用运动捕获设备采集移动设备运动过程中的位置流信息作为
6DoF跟踪的位姿真值数据;
c) 基于移动通信终端、全景相机等移动采集设备,采集重定位模块所需的地图与定位数据,同时
基于大尺度场景真值生成系统,生成重定位测试所需的真值数据;
d) 用三维扫描仪扫描测试环境的三维模型作为三维重建的真值模型数据;
e) 测试数据集见B.1.2、B.1.3、B.1.4。
8.1.2.2 标志物识别跟踪测试数据集
需按照以下步骤准备标志物识别跟踪测试数据集:
a) 在测试场景中布置若干个二维标志物和三维标志物;
b) 保持环境光照充足,手持移动设备,按照不同运动方式分别采集二维和三维标志物的测试
数据;
c) 在步骤b)数据采集的同时,利用运动捕捉系统记录设备的6DoF真值数据;
d) 基于采集的数据和6DoF真值等数据做进一步对齐处理,得到最终的基准数据集;
e) 二维标志物测试数据集可参照二维标志物识别与跟踪数据集,详见B.1.5;
f) 三维标志物测试数据集可参照三维标志物识别与跟踪数据集OnePose及BCOT,详见B.1.6。
8.1.2.3 手势识别跟踪测试数据集
需按照以下步骤准备手势识别跟踪测试数据集:
a) 保证光照充足,采集手心、手背、侧面不同视角,手指数字、握拳、赞赏等多种手势;
b) 人工标注所采集数据中定义的不少于21个手部关键点;
c) 形成手势识别的测试数据集;
d) 测试数据集参照手势识别跟踪数据集Hand2D,详见B.1.7。
8.1.2.4 人脸识别跟踪测试数据集
需按照以下步骤准备人脸识别跟踪测试数据集:
a) 保证光照充足,采集正脸、侧脸不同的视角,以及微笑、大笑、愤怒、平静、烦恼等多种表情;
b) 人工标注所采集数据中定义的不少于98个面部关键点;
c) 形成人脸识别的测试数据集;
d) 测试数据集可参照人脸识别跟踪数据集WFLW,详见B.2。
8.2 功能测试方法
8.2.1 在线跟踪定位
8.2.1.1 六自由度在线跟踪
6DoF在线跟踪功能测试方法具体如下:
a) 将布置的测试环境光照颜色调节成白光,照度设置为300lx~400lx;
b) 手持移动设备,开启增强现实系统进行不同方式的运动;
c) 观察设备显示屏上的虚拟对象的位置是否正常。
8.2.1.2 本地重定位
本地重定位功能测试方法具体如下:
10
GB/T45286—2025
a) 将布置的测试环境光照颜色调节成白光,照度设置为300lx~400lx;
b) 扫描场景,使该功能模块可充分构建场景地图信息;
c) 快速甩动设备或者长时间遮挡摄像头,使得该功能模块进入跟踪失败状态;
d) 对着扫描过的场景重新进行扫描定位,如果能够定位成功(表现为虚拟对象恢复原位),则增强
现实系统具备本地重定位功能,如果始终无法定位,则不具备本地重定位功能。
8.2.1.3 云端重定位
云端重定位功能测试方法具体如下:
a) 将布置的测试环境光照颜色调节成白光,照度设置为300lx~400lx;
b) 预先扫描场景,使该功能模块可充分构建场景地图信息并置于云端;
c) 快速甩动设备或者长时间遮挡摄像头,使得该功能模块进入跟踪失败状态;
d) 保证手持式移动设备网络通畅,对着扫描过的场景重新进行扫描定位,如果能够定位成功(表
现为虚拟对象恢复原位),则增强现实系统具备云端重定位功能,如果始终无法定位,则不具备
云端重定位功能。
8.2.2 尺度估计
尺度估计功能的测试方法为观察尺度估计成功后虚拟对象的尺寸是否近似于真实大小,判断增强
现实系统是否具备尺度估计功能。
8.2.3 标志物识别跟踪
8.2.3.1 二维标志物识别跟踪
二维标志物识别跟踪功能测试方法具体如下:
a) 将布置的测试环境光照颜色调节成白光,照度设置为300lx~400lx;
b) 测试环境中用手持式移动设备扫描拍摄二维标志物,通过观察设备显示屏上虚拟AR内容是
否正确出现及其位置与朝向是否与真实场景一致,来判断增强现实系统是否能成功识别和跟
踪二维标志物。
8.2.3.2 三维标志物识别跟踪
三维标志物识别跟踪功能测试方法具体如下:
a) 将布置的测试环境光照颜色调节成白光,照度设置为300lx~400lx;
b) 在测试环境中用手持式移动设备扫描拍摄三维标志物,通过观察设备显示屏上虚拟AR内容
是否正确出现及其位置与朝向是否与真实场景一致,来判断增强现实系统是否能成功识别和
跟踪三维标志物。
8.2.3.3 云端标志物识别
云端标志物识别功能测试方法具体如下:
a) 将布置的测试环境光照颜色调节成白光,照度设置为300lx~400lx;
b) 保证手持式移动设备网络通畅,在测试环境中用手持式移动设备扫描拍摄标志物,通过手持式
移动设备将场景视频流上传至云平台,观察设备显示屏上虚拟AR 内容是否正确出现及其位
置与朝向是否与真实场景一致,来判断增强现实系统是否能在云端成功识别二维标志物和三
维标志物。
11
GB/T45286—2025
8.2.4 三维重建
8.2.4.1 平面检测及求锚点
平面检测功能测试方法具体如下:
a) 将布置的测试环境光照颜色调节成白光,照度设置为300lx~400lx;
b) 对测试环境进行移动平台上的平面检测,测试增强现实系统是否具备单一平面和多个平面检
测功能,以及平面检测是否具有渐增式的实时拓展性;
c) 测试增强现实系统是否支持对检测的单一平面或多个平面求锚点位置和法向。
8.2.4.2 稠密点云重建及求锚点
稠密点云重建功能测试方法具体如下:
a) 将布置的测试环境光照颜色调节成白光,照度设置为300lx~400lx;
b) 对测试环境进行移动平台上的稠密点云重建,测试增强现实系统是否具备稠密点云重建功
能,以及稠密点云重建是否具有渐增式的实时拓展性;
c) 测试增强现实系统是否支持对重建的稠密点云求锚点位置和法向。
8.2.4.3 稠密网格重建及求锚点
稠密网格重建功能测试方法具体如下:
a) 将布置的测试环境光照颜色调节成白光,照度设置为300lx~400lx;
b) 对测试环境进行移动平台上的稠密网格重建,测试增强现实系统是否具备稠密网格重建功
能,以及稠密网格重建是否具有渐增式的实时拓展性;
c) 测试增强现实系统是否支持对重建的稠密网格求锚点位置和法向。
8.2.4.4 云端三维重建
云端三维重建功能测试方法具体如下:
a) 将布置的测试环境光照颜色调节成白光,照度设置为300lx~400lx;
b) 利用云端服务器计算资源对用户端上传的测试环境关键帧图像进行稠密点云和稠密网格重
建,测试增强现实系统是否具备云端三维重建功能,以及云端稠密点云和稠密网格重建是否具
有渐增式的实时拓展性。
8.2.5 光照估计
光照估计功能测试方法具体如下:
a) 在布置的测试环境中切换红绿蓝白四种光源颜色,并调整不同的照度;
b) 观察虚拟对象的光照是否与测试环境光照一致,是否会随着环境光照变化而变化,来判断增强
现实系统是否具备光照估计功能。
8.2.6 人脸识别跟踪
人脸识别跟踪功能测试方法具体如下:
a) 拍摄不同表情的人脸图片;
b) 计算能够检测的关键点数量是否满足定义;
c) 如果移动设备能够正确跟踪一系列面部关键点,那么增强现实系统就具备了人脸识别跟踪的
功能。
12
GB/T45286—2025
8.2.7 手势识别跟踪
手势识别跟踪功能测试方法具体如下:
a) 拍摄不同手势动作的手部图片;
b) 计算能够检测的关键点数量是否满足定义;
c) 如果移动设备能够正确跟踪视频中的手部关键点,那么增强现实系统就具备了手势识别跟踪
的功能。
8.2.8 虚实遮挡
在景深层次结构复杂的场景中,用手持式移动设备拍摄该场景并启动增强现实系统,并在移动通信
终端场景的画面中放置动态虚拟物体,通过增强现实系统呈现虚拟物体和真实场景(包括静态背景和动
态前景)之间遮挡效果,以此判断增强现实系统是否具备虚实遮挡功能。
8.3 性能测试方法
8.3.1 在线跟踪定位
8.3.1.1 六自由度在线跟踪
6DoF在线跟踪性能测试方法具体如下:
a) 基于室内VISLAM 数据集(见B.1.2),离线运行该功能模块,并记录每帧图像的6DoF位姿和
单帧处理时间;
b) 基于精度评估工具,通过比较算法结果与真值之间的差异,从而计算得到该功能模块的跟踪准
确率、初始化质量、跟踪鲁棒性等指标;
注1:初始化质量指标计算公式为:εinit=tinit×(εscale+1)0.5,其中tinit表示初始化完成的时间,εscale表示初始化的尺度
误差,基于公式εscale=0.5×(|s-1|+|1/s-1|)计算得到εscale,其中s 是待测试的6DoF在线跟踪模块计算得
到的尺度系数。
注2:跟踪鲁棒性指标计算公式为:εR=(αlost+0.05)×(εRL+0.1×εAPE),其中αlost表示跟踪丢失的帧数占整个输入
视频帧序列的比例,εRL表示整个视频帧序列中每次重定位的平均误差,εAPE表示整个视频帧序列的绝对位置
误差。
c) 汇总和统计该功能模块的跟踪准确率、帧率等指标,得到完整的性能测试结果。
注3:跟踪准确率表示符合7.1.1b)要求的跟踪帧数与总帧数的比值。
注4:帧率表示单位时间内系统处理的帧数。
8.3.1.2 本地重定位
本地重定位性能测试方法具体如下:
a) 基于室内VISLAM 数据集(见B.1.2),离线运行重定位功能模块,记录该功能模块的定位结果
和耗时等信息;
b) 基于精度评估工具,通过比较算法结果与真值之间的差异,从而计算得到该功能模块的成功率
等指标;
c) 汇总和统计该功能模块的成功率和耗时,得到完整的性能测试结果。
8.3.1.3 云端重定位
云端重定位性能测试方法具体如下:
a) 基于大尺度场景定位数据集(见B.1.3),在云端离线运行重定位功能模块,记录功能模块的定
位结果和等信息;
13
GB/T45286—2025
b) 基于精度评估工具,通过比较算法结果与真值之间的差异,从而计算得到该功能模块的成功率
等指标;
c) 汇总和统计该功能模块的成功率和耗时,得到完整的性能测试结果。
8.3.2 尺度估计
尺度估计性能测试方法具体如下:
a) 基于室内VISLAM 数据集(见B.1.2),离线运行该功能模块,记录该功能模块的输出结果;
b) 基于精度评估工具,通过比较算法结果与真值之间的差异,从而计算得到该功能模块的尺度
误差;
c) 汇总和统计该功能模块的尺度误差指标,得到完整的性能测试结果。
注:尺度误差指标的计算公式:εscale=0.5×(|s-1|+|1/s-1|),其中s 是待测试的6DoF在线跟踪模块计算得到
的尺度系数。
8.3.3 标志物识别跟踪
8.3.3.1 二维标志物识别跟踪
二维标志物识别跟踪性能测试方法具体如下:
a) 基于二维标志物识别与跟踪数据集(见B.1.5),离线运行该功能模块,记录该功能模块的输出
结果;
b) 基于精度评估工具,通过比较算法结果与真值之间的差异,从而计算得到该功能模块的成功率
等指标;
c) 汇总和统计该功能模块的成功率、耗时和帧率等指标,得到完整的性能测试结果。
8.3.3.2 三维标志物识别跟踪
三维标志物识别跟踪性能测试方法具体如下:
a) 基于三维标志物识别与跟踪数据集BCOT(见B.1.6.2),离线运行该功能模块,记录该功能模
块的输出结果;
b) 基于精度评估工具,通过比较算法结果与真值之间的差异,从而计算得到该功能模块的成功率
等指标;
c) 汇总和统计该功能模块的成功率、耗时和帧率等指标,得到完整的性能测试结果。
8.3.3.3 云端标志物识别
云端标志物识别性能测试方法具体如下:
a) 基于三维标志物识别与跟踪数据集OnePose(见B.1.6.1),云端离线运行该功能模块,记录该
功能模块的输出结果;
b) 汇总和统计该功能模块的耗时等指标,得到完整的性能测试结果。
8.3.4 三维重建
8.3.4.1 平面检测及求锚点
平面检测性能测试方法具体如下:
a) 根据场景的实际测量尺寸用建模软件建出其中的多个平面模型作为真值,参考B.1.4提供的
多平面模型真值;
b) 评估检测的每个平面与真值平面之间的位置精度误差是否符合要求;
14
GB/T45286—2025
c) 将每一帧平面检测功能模块的执行时间记录在日志中,通过不少于5min的执行时间统计出
平面检测的平均单帧耗时,包括单个平面检测和5个平面检测的平均耗时,判断处理帧率是否
与7.1.1中的6DoF跟踪帧率一致。
8.3.4.2 稠密点云重建及求锚点
稠密点云重建性能测试方法具体如下:
a) 将三维扫描仪扫描出场景的精确三维模型作为真值,参考B.1.4提供的三维模型真值;
b) 对场景进行移动平台上的稠密点云重建,评估重建的稠密点云与真值三维模型之间的位置精
度误差是否符合要求;
c) 将每一帧稠密点云重建功能模块的执行时间记录在日志中,通过不少于5min的执行时间统
计出稠密点云重建的平均单帧耗时,判断处理帧率是否与7.1.1中的6DoF跟踪帧率一致。
8.3.4.3 稠密网格重建及求锚点
稠密网格重建性能测试方法具体如下:
a) 将三维扫描仪扫描出场景的精确三维模型作为真值,参考B.1.4提供的三维模型真值;
b) 对场景进行移动平台上的稠密网格重建,评估重建的稠密网格与真值三维模型之间的几何精
度误差是否符合要求;
c) 将每一帧稠密网格重建功能模块的执行时间记录在日志中,通过不少于5min的执行时间统
计出稠密网格重建的平均单帧耗时,判断处理帧率是否与7.1.1中的6DoF跟踪帧率一致。
8.3.4.4 云端三维重建
云端重建性能测试方法具体如下:
a) 将三维扫描仪扫描出场景的精确三维模型作为真值,参考B.1.4提供的三维模型真值;
b) 对场景进行云端的稠密点云和稠密网格重建,评估重建的稠密点云和稠密网格与真值三维模
型之间的几何精度误差是否符合要求。
8.3.5 光照估计
光照估计功能是基于设备拍摄的图像基础上的估计,所以采用的是归一化到0~1范围的值。通过
分别测试场景光照估计值与真值的误差,搭建不同光照测试场景,见附录C。光照估计性能测试方法具
体如下:
a) 光照估计真值采用包含光照估计功能的设备采集3次图像求平均,利用球协函数分解,获取零
阶系数,作为环境光RGB真值;
b) 只打开白色灯光,在调整白灯的照度在30lx、300lx的2种情况下,分别测量光照颜色估计值
与真值的误差,以及不同亮度变化的响应时间;
c) 只打开红色灯光,在调整红灯的照度在30lx、300lx的2种情况下,分别测量光照颜色估计值
与真值的误差,以及不同亮度变化的响应时间;
d) 只打开绿色灯光,在调整绿灯的照度在30lx、300lx的2种情况下,分别测量光照颜色估计值
与真值的误差,以及不同亮度变化的响应时间;
e) 只打开蓝色灯光,在调整蓝灯的照度在30lx、300lx的2种情况下,分别测量光照颜色估计值
与真值的误差,以及不同亮度变化的响应时间。
8.3.6 人脸识别跟踪
人脸识别跟踪性能测试方法具体如下:
15
GB/T45286—2025
a) 在8.1.2.4所述的数据集上得到人脸关键点跟踪结果;
b) 比较人脸关键点跟踪结果与人工标注结果,计算面部关键点跟踪的平均召回率。
8.3.7 手势识别跟踪
手势识别跟踪性能测试方法具体如下:
a) 在8.1.2.3所述的数据集上得到手部关键点跟踪结果;
b) 比较手部关键点跟踪结果与人工标注结果,计算手部关键点跟踪的平均召回率。
8.3.8 虚实遮挡
虚实遮挡性能测试方法具体如下:
a) 用手持式移动设备拍摄该场景并启动增强现实系统,并在场景画面中放置动态虚拟物体,通过
增强现实系统实现虚拟物体和真实场景(包括静态背景和动态前景)之间遮挡效果;
b) 通过统计连续10s的虚实遮挡错误率给出判断虚实遮挡功能是否符合要求。
8.3.9 运行
8.3.9.1 CPU 和内存占用测试
在不小于25m2 的房间内,手持式移动设备平台上启动增强现实系统后,可利用操作系统内置的命
令或系统工具来查手持式移动设备增强现实系统进程的CPU 以及内存占用。
8.3.9.2 运行效率测试
手持式移动设备平台上启动增强现实系统后,将每一帧数据的功能模块运行时间记录在日志中,基
于功能模块不少于5min的执行时间记录可统计出功能模块单帧耗时的平均值,计算系统的运行帧率。
16
GB/T45286—2025
附 录 A
(规范性)
增强现实系统相关手持式移动设备传感器要求
A.1 通则
手持式移动设备应能同步摄像头、IMU 等传感器的时间,并且时间戳差应不超过5ms。
A.2 摄像头要求
A.2.1 曝光参数
曝光参数满足以下要求:
a) 应具有曝光参数设定功能;
b) 曝光时间不宜超过20ms。
A.2.2 对焦模式
A.2.2.1 定焦模式
定焦模式满足以下要求:
a) 手持式移动设备的摄像头不启动自动对焦时,默认焦点应在无穷远处;
b) 单次对焦模式下,应用启动时焦点应确定且不再更改,焦点应能手动选择或默认选择无穷远。
A.2.2.2 变焦模式
变焦模式下,摄像头应能多次连续对焦,提高清晰度。
A.2.2.3 模式选择
模式选择满足以下要求:
a) 增强现实系统宜选用定焦模式的摄像头,如使用连续对焦,焦点应平缓变化;
b) 增强现实系统宜有摄像头回路马达。
A.2.3 图像质量
手持式移动设备摄像头捕获视频时,每帧的分辨率应不低于720p。
A.2.4 深度摄像头
手持式移动设备深度摄像头应用来获取画面中的空间深度信息,通常包含以下两类不同实现方式
的摄像头:结构光摄像头和TOF摄像头。具体要求如下:
a) 普通摄像头帧率应是深度摄像头的整数倍且深度摄像头帧率应不低于5FPS;
b) 深度摄像头和普通摄像头的时钟应校准对齐,时间偏差不超过15ms;
c) 深度摄像头和普通摄像头应有精确的出厂外参(相对位姿)标定,在640×480图像分辨率
下,颜色与深度的对应像素位置偏差应不超过2个像素;在320×240图像分辨率下,颜色与深
度的对应像素位置偏差应不超过1个像素。
17
GB/T45286—2025
A.3 IMU 要求
IMU 应满足以下要求:
a) 能测量物体的三轴姿态角(或角速率)以及加速度;
b) 频率不低于200Hz;
c) 时钟与摄像头校准对齐;
d) 时间偏差不超过5ms。
18
GB/T45286—2025
附 录 B
(资料性)
增强现实系统性能测试数据集说明
B.1 基准测试数据集
B.1.1 概述
基准数据集包含6个子集:室内VISLAM 数据集、大尺度场景定位数据集、三维重建数据集、二维
标志物识别与跟踪数据集、三维标志物识别与跟踪数据集、手势识别跟踪数据集。
B.1.2 室内VISLAM 数据集
室内VISLAM 数据集是一个专门用于评估视觉惯性同步定位与地图构建(VI-SLAM)算法性能的
基准测试数据集。它通过集成视觉传感器和惯性传感器,提供高精度的真值数据,便于针对面向AR的
SLAM 算法进行全面深度的评测与分析。室内VISLAM 数据集实例见图B.1。
图B.1 室内VISLAM 数据集实例
室内VISLAM 数据集主要有以下特点。
a) 多模态传感器数据:该数据集包含了多种传感器的数据,包括:
1) 单目摄像头数据:用于视觉信息的采集,提供高分辨率的图像流;
2) IMU(惯性测量单元)数据:提供高频率的加速度和角速度信息,帮助算法进行位姿估计
和轨迹优化。
b) 高精度位姿真值:数据集中提供了高精度的位姿真值,用于评估和比较不同VI-SLAM 算法的
性能。这些真值通过高精度定位设备(VICON)获取,确保了其评估的精度与有效性。
c) 丰富的数据类型:数据集涵盖了室内多种复杂场景和多种不同运动形式的数据,包括静态与动
态、丰富纹理与弱纹理场景,直线、转弯、晃动等不同运动类型这对于VI-SLAM 算法在真实世
界中的应用具有重要意义。
d) 标准化的评测工具:针对VI-SLAM 常见的评估指标,如初始化质量、跟踪精度、跟踪鲁棒性、
重定位速度与精度等,设计了完善的量化评估工具,便于学术界和工业界针对不同算法进行全
面的对比评估。
19
GB/T45286—2025
B.1.3 大尺度场景定位数据集
大尺度场景定位数据集是一个面向增强现实应用的大尺度场景定位数据集,选取1个大尺度的室
内场景,AR设备在场景里以AR应用的典型运动采集一系列定位数据,数据包括图像、IMU 和无线定
位信号(蓝牙、移动热点、磁场)和定位真值,大尺度场景定位数据集实例见图B.2。
图B.2 大尺度办公室实例
采用运动恢复结构技术重建每个场景的视觉高精地图,将定位数据的每帧图像与高精地图进行特
征点匹配,并对每段数据抽取视觉惯性约束,最后采用集束调整将高精地图匹配约束与视觉惯性约束联
合优化,最终得到定位真值,定位真值具有厘米级精度。
B.1.4 三维重建数据集
三维重建数据集是一个用于评估三维重建算法的数据集,包括由移动设备捕获的小规模场景物体
数据和无人机捕获的大规模城市数据,作为三维重建算法的输入源数据。
其中,移动端三维重建数据包括移动通信终端捕获的多个场景和物体的实例。所有移动设备捕获
的源数据实例都遵循dior格式。对于每个实例,该数据集还提供一个带纹理贴图网格(Mesh)模型和一
个矢量化的多面体计算机辅助设计(CAD)模型,分别作为稠密重建和平面重建的参考真值,用来衡量
三维重建结果的精度。其中室外台阶实例的数据见图B.3。
图B.3 室外台阶实例
B.1.5 二维标志物识别与跟踪数据集
二维标志物识别与跟踪数据集包括参考图和10个图像序列作为测试集,每个序列有来自VICON
的真值位姿来评估精度。测试集包括的静止、快速移动、缩放、旋转、运动模糊、光照变化等不同的运动
类型和场景类型,可方便全面完整地评测算法的精度和鲁棒性。
20
GB/T45286—2025
B.1.6 三维标志物识别与跟踪数据集
B.1.6.1 三维标志物识别与跟踪数据集OnePose
OnePose数据集主要用于评估定位能力,该数据集包含了超过450个视频序列,涉及150个物体。
对于每个物体,提供了多段视频记录的相机姿态和3D边界框标注。这些序列是在不同的背景环境下
收集的,每段视频的平均录制时长为30s,覆盖了物体的所有视角。OnePose数据集实例见图B.4。
图B.4 OnePose数据集实例
B.1.6.2 三维标志物识别与跟踪数据集BCOT
BCOT数据集主要用于评估跟踪能力,该数据集包含20个无纹理物体、22个场景、404个视频序列
和超过12万个真实场景捕获的图像,标注误差在毫米级。部分物体模型的实例见图B.5。
图B.5 BCOT数据集实例
21
GB/T45286—2025
B.1.7 手势识别跟踪数据集Hand2D
Hand2D是一个专门用于二维手部关键点检测的数据集,该数据集收集了不同手势共计600张测
试图像,包括左手和右手,并通过人工进行了准确的标注。
Hand2D数据集定义的手部关键点包括手指尖、手关节、手掌等位置,21个手部关键点分布见
图B.6。
图B.6 手部关键点分布
Hand2D数据集实例见图B.7。
图B.7 Hand2D 数据集实例
B.2 人脸识别跟踪数据集WFLW
WFLW(WiderFacialLandmarksin-the-wild)是一个针对人脸识别跟踪测试的公开数据集,数据
集包含10000张人脸,其中7500张用于训练,2500张用于测试,每张人脸具有98个完全手动标注的
关键点。除了关键点标注外,该数据集还包括丰富的属性标注,例如遮挡、姿态、化妆、光照、模糊和表
情,以便对现有算法进行全面分析。
WFLW 数据集定义的面部关键点包括眼睛、眉毛、鼻子、嘴巴、脸部轮廓等一系列位置,面部98个
关键点分布见图B.8。
22
GB/T45286—2025
图B.8 面部关键点分布(图引自WFLW 公开数据集)
WFLW 公开数据集实例见图B.9。
图B.9 WFLW 公开数据集实例
23
GB/T45286—2025
附 录 C
(资料性)
照度测量方法
光照估计性能测试通过分别测试场景光照估计值与真值的误差,需要搭建不同光照测试场景,见
图C.1,场景的亮度可通过照度计进行测量,调节灯光,使测试场景的照度为指定值。
图C.1 不同光照测试场景
24
GB/T45286—2025