前言
本文件按照 GB/T 1.1—2020《标准化工作导则 第1部分:标准化文件的结构和起草规则》的规定起草。
本文件是 GB/T 48317《人形机器人技术要求》的第2部分。GB/T 48317已经发布了以下部分:
第1部分:总则;
第2部分:环境感知;
第3部分:决策规划;
第4部分:运动控制;
第5部分:作业操作。
请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。
本文件由中国机械工业联合会提出。
本文件由全国机器人标准化技术委员会(SAC/TC 591)归口。
本文件起草单位:宇树科技股份有限公司、浦江国家实验室、湖南大学、梅卡曼德(雄安)机器人科技股份有限公司、北京他山科技有限公司、杭州海康机器人股份有限公司、帕西尼人工智能科技(北京)股份有限公司、北京机械工业自动化研究所有限公司、中国软件评测中心(工业和信息化部软件与集成电路促进中心)、北京小米机器人技术有限公司、五八智能科技(杭州)有限公司、深圳市优必选科技股份有限公司 江苏鼎汇具身智能机器人创新中心有限公司 深圳国创具身智能机器人有限公司 江淮前沿技术协同创新中心(江淮实验室)、云深处科技股份有限公司、杭叉集团股份有限公司、上海擎朗智能科技股份有限公司、中移(杭州)信息技术有限公司、美的集团股份有限公司、广东思谷智能技术有限公司合肥零次方机器人有限公司、途见科技(北京)有限公司、上海禾赛科技有限公司、中汽院(重庆)机器人检测技术有限公司、吉林大学、中国计量大学、浙江省质量科学研究院、浙江浙能数字科技有限公司上海人工智能研究院有限公司、武汉华威科智能技术有限公司、泰山体育产业集团有限公司、安徽大学未来产业创新研究院、鼎桥技术有限公司、天翼数字生活科技有限公司、戴盟(深圳)机器人科技有限公司、联通数字科技有限公司、上海蚂蚁灵波科技有限公司、深圳海清智元科技股份有限公司、北京深谋科技有限公司、广东图灵智新技术有限公司、深圳市鑫精诚传感技术有限公司、中科开创(广州)智能科技发展有限公司
本文件主要起草人:王兴兴、周伯文、刘新、王耀南、丁有爽、孙滕谌、徐志军、许晋诚、王俊芳、张伟楠、王启舟、邵天兰、王泰、杨秋影、梁学修、向迪昀、张国亮、梁乔玲、张含波、焦继超、臧家炜、王磊张建国、兰斌、唐威、宋佳林、潘鹏飞、蒋慧、谭浩然、易雨亭、唐旋来、刘斐、程宝平、蒲琪然、奚伟、张恒第王瑜辉、俞昆、闵宇恒、张健、赖建诚、李呈光、孙添飞、王雨琴、杨孔华、王斌锐、陈元杰、王战、孙博、陈曦朱晓辉、吴俊、王年、吴健、汤宪飞、杜仪湃、李凯、汪中原、潘飞、韦邦国、贺晓伟、赵鑫、刘亦斌、闵玥、徐洁、程颐、丁小天、卞志勇、张量奇、张飞、刘健、张继东、张丽萍、陈浩、周波、周旭、王武东、吴浩、张鹏。
引言
人形机器人作为机器人技术与人工智能技术融合发展的标志性产品,在运动自由度、作业形态、人机协同方式等方面与传统机器人存在差异,现有标准难以覆盖相关技术要求
GB/T 48317反映现阶段人形机器人主要功能的技术要求,旨在为研发、设计、制造及应用提供基准。GB/T 48317拟由7个部分构成。
第1部分:总则。目的在于确立人形机器人的本体组成、安全要求和功能要求
第2部分:环境感知。目的在于确立人形机器人环境感知的能力架构,规定其功能要求和性能要求。
第3部分:决策规划。目的在于确立人形机器人决策规划的能力架构,规定其功能要求和性能要求。
第4部分:运动控制。目的在于确立人形机器人运动控制的能力架构,规定其功能要求和性能要求。
第5部分:作业操作。目的在于确立人形机器人作业操作的能力架构,规定操作能力、作业能力和作业保障能力的技术要求。
第6部分:定位导航。目的在于确立人形机器人定位导航的能力架构,规定定位建模、导航规划、导航执行的技术要求。
第7部分:人机交互。目的在于确立人形机器人人机交互的能力架构,规定交互接口、交互理解与生成、交互模式管理的技术要求。
1 范围
本文件给出了人形机器人环境感知的能力架构,规定了其功能要求和性能要求
本文件适用于人形机器人的研发、制造和应用。
2 规范性引用文件
下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中,注日期的引用文件,仅该日期对应的版本适用于本文件;不注日期的引用文件,其最新版本(包括所有的修改单)适用于本文件。
GB/T 48317.1—2026 人形机器人技术要求 第1部分:总则
3 术语和定义
GB/T 48317.1—2026界定的以及下列术语和定义适用于本文件。
3.1 环境感知 environmental perception
人形机器人通过不同类型的传感器采集本体状态数据和外部环境数据,对采集的数据进行融合处理,实现对外部环境状态及其动态变化的理解。
[来源:GB/T 48317.1—2026,3.2]
3.2 多模态传感 multi-modal sensing
人形机器人通过不同类型的传感器采集本体状态数据和外部环境数据,输出带时间戳的数字信号流的过程。
3.3 多模态数据 multi-modal data
由两种及以上不同类型数据模态构成,在时间或空间上具有对应关系,能够从不同维度共同描述同一对象、场景或事件的数据集合。
注:人形机器人的数据模态包括视觉(如图像、视频)、听觉(如音频)、力觉/触觉,以及本体感觉(如关节角度、关节速度等运动学状态)等模态。
[来源:GB/T 42135—2022,3.1,有修改]
3.4 数据融合 data fusion
将多模态数据进行汇总,形成对环境的综合认知。
[来源:GB/T 42135—2022,3.2]
3.5 接触理解 tactile understanding
人形机器人理解本体与外界环境或物体的物理接触状态及其含义,并输出数字化表示的过程。
注:接触状态示例:接触位置、滑动状态等
3.6 自然语言理解 natural language understanding;NLU
人形机器人从已传入其中的自然语言文本或语音中提取信息,并输出对给定文本或语音及其表示的描述。
[来源:GB/T 41867—2022,3.3.15,有修改]
3.7 语义理解 semantic understanding
人形机器人对物理环境中的对象、实体等要素的所属类别、功能用途等静态要素及相互间的概念性从属关系进行识别、归纳,并生成结构化语义描述的能力。
注:本文件中语义理解的输入不包括自然语言文本和语音。
[来源:GB/T 41867—2022,3.3.12,有修改]
3.8 空间理解 spatial understanding
人形机器人感知、识别和理解周围空间及物体的几何结构、位置关系和空间属性的能力
3.9 时序和情境理解 contextual and temporal understanding
人形机器人结合时间序列信息与环境情境,对事件顺序、状态变化及上下文关系进行理解的能力。
4 能力架构
人形机器人的环境感知能力包括多模态传感、数据融合处理、环境理解。环境理解包括接触理解自然语言理解、语义理解、空间理解、时序和情境理解。多模态传感获取的本体状态数据和外部环境数据,以及环境理解结果均能与人形机器人其他功能模块实现信息交互。
人形机器人环境感知能力架构见图1,典型感知事件见附录 A。
注:环境理解仅限于对环境状态和事件的识别与描述,不包含对任务的决策规划或控制的内容。
图 1 人形机器人环境感知能力架构
5 技术要求
5.1 功能要求
5.1.1 多模态传感
5.1.1.1 总体要求
人形机器人应配置用于采集本体状态参数和外部环境参数的传感系统,传感系统应符合GB/T 48317.1—2026 中5.1.2的要求。
各模态数据流应包含时间戳信息。
5.1.1.2 本体状态传感
人形机器人应能采集本体状态数据,包括但不限于运动状态数据、本体位姿数据、内部力/力矩数据、电气状态数据等。
示例1:运动状态数据:关节角速度、IMU(惯性测量单元)角速度、加速度等
示例2:本体位姿数据:关节角度、姿态角、末端执行器位姿等
示例3:内部力/力矩数据:关节驱动力矩、减速器输入/输出力矩等。
示例4:电气状态数据:电池电量、电池工作状态电压/电流、关键部位温度、驱动电机温升等。
5.1.1.3 外部环境传感
人形机器人应能采集外部环境数据,如视觉、听觉、外部力觉等。
宜支持根据任务与场景需要,扩展配置其他类型传感单元,例如分布式触觉传感、雷达、嗅觉传感等。
示例1:视觉数据:RGB图像、视频、深度图像、场景图像等。
示例2:听觉数据:麦克风阵列音频、语音指令、环境异常音等
示例3:外部力觉数据:末端三维力/六维力矩、关节外力矩等
示例4:其他数据:触觉:接触压力分布阵列、高频振动/滑动状态信号等;雷达:激光点云、雷达波信号等;嗅觉:气体浓度信号等。
5.1.2 数据融合处理
人形机器人数据融合处理功能包括但不限于:
a) 应支持视觉、力觉、听觉等多模态数据融合,在可采集范围内输出连续且一致的环境特征和事件表达;
b) 应能够实现不同模态感知信息的语义对齐,输出统一的语义表示;
c) 应具备异常检测、数据恢复和冗余策略,保证在部分传感信息丢失或故障情况下,关键安全功能(例如避障、紧急停止)仍然有效。
5.1.3 接触理解
人形机器人具备识别接触事件的能力,包括但不限于:
a) 应支持识别接触状态,包括接触发生、保持、释放、滑动等基本状态,以及碰撞、卡滞、滑落等异常接触状态;
b) 宜支持获取与接触相关的空间与力学信息,包括接触位置、接触力向量及其动态变化,并推断物体的硬度、柔软度或脆弱性等物理属性。
5.1.4 自然语言理解
人形机器人具备自然语言理解能力,包括但不限于:
a) 应能对自然语言输入生成统一语义表示;
b) 应支持上下文理解,在上下文约束下识别多义词、代词及省略信息,形成明确、无歧义的语义映射,能够根据连续语言输入保持一致的语义状态,识别语境中隐含的条件、时间顺序和因果关系;
c) 应支持多模态协同理解,结合视觉、听觉等信息,正确解析语言中的空间指代、动作上下文、隐含信息、用户的情感与意图;
d) 宜具备跨语言语义对齐能力,支持多语种和方言的识别。
5.1.5 空间理解
人形机器人具备空间理解能力,包括但不限于以下几种能力。
a) 应能识别环境中的主要空间要素,包括但不限于空间物品、区域等。
b) 应能理解环境要素之间的空间关系,包括但不限于:
1) 相邻关系:上、下、左、右、前、后等(以其中一个物体为参考的定义);
2) 包含关系:内、外;
3) 连通关系:连通 A、B,2个空间区域是否连通;
4) 接触关系:支撑、悬挂、相切、叠加。
c) 应支持将空间位置与语义标签关联,形成语义化空间表示。
d) 宜能够对动态环境变化实时更新语义空间关系。
5.1.6 语义理解
人形机器人具备语义理解能力,包括但不限于:
a) 应能识别环境中物体及其属性,包括物品类型、功能属性等;
b) 应能理解物体间的语义关系,包括但不限于:
1) 类别归属关系:如“杯子属于餐具”,
2) 部件-整体关系:如“把手是门的组成部件”,
3) 功能关系:如“钥匙用于开门”“椅子用于坐”,
4) 相关关系:如“雨伞与雨天相关”;
c) 应能识别场景类型,并将识别结果用于语义表示;
d) 宜支持基于物体稳定性、重力作用等基本物理常识进行简单的静态因果推理;
e) 宜支持理解不同声学信号代表的行为事件(例如风声、饮水、电话声、掌声、哭声等);
f) 宜支持解析场景中的模糊语义和隐含语义,理解时间语义关系。
5.1.7 时序和情境理解
人形机器人具备时序和情境理解能力,包括但不限于:
a) 应能捕捉和解析环境状态随时间变化的序列信息,识别状态转移和行为阶段,形成连续的时间序列建模;
b) 应能识别不同任务阶段(如准备、执行、收尾)及关键事件序列,并具备阶段切换检测与异常中断识别能力;
c) 宜能对多模态数据及执行状态进行时间序列跟踪与上下文建模,并将其与各个感知模块输出进行融合,形成完整的连续情境表示,支持后续模块获取连续上下文信息;
d) 宜具备对历史状态进行追踪,并结合时间序列分析,对短期未来状态进行预测的能力。
5.2 性能要求
人形机器人环境感知的性能指标要求见表1。
| (1)多模态传感 | |||
| 子功能项 | 精度 | 采集频率 | 误差 |
| 总体要求 | 时间戳分辨率:≤1 ms | - | 时间戳误差宜≤±10 ms |
| 本体数据采集 | 力矩采集精度:≤±3%F.S | 5运0动Hz状态、本体位姿参数:≥ | - |
| 外部环境数据采集 | 环境图像:≥720 P | 环境图像:≥30 Hz | - |
| (2)数据融合处理 | |
| 子功能项 | 跨模态时间对齐误差 |
| 多模态数据融合 | a)总体要求:宜≤30 ms;b)对于不同传感器组合的融合任务,限值宜根据机器人在任务中的最大运动速度和允许的空间误差容限进行确定 |
| (3)环境理解 | |
| 子功能项 | 准确率 |
| 接触理解 | a)安全事件:宜≥90%;b)一般事件:宜≥80%;c)高复杂及高难度事件:根据应用需求确定 |
| 自然语言理解 | |
| 空间理解 | |
| 语义理解 | |
| 时序和情境理解 | |
| 示例1:安全事件:人员跌倒、剧烈碰撞等。示例2:一般事件:识别桌上有一个苹果、门打开了、用户指令理解。示例3:高复杂及高难度事件:涉及多模态长时序关联、多主体交互或极端长尾环境下的复杂事件。 | |
附 录 A (资料性)
典型感知事件
人形机器人环境感知的典型感知事件见表 A.1。
| 感知能力 | 子维度 | 典型感知事件示例 |
| 多模态传感 | 本体运动状态 | ●机器人在起步阶段检测到左膝关节角速度由18(°)/s短时升至76(°)/s●机器人在转身过程中检测到右肘关节输出力矩由1.1 N·m升至3.6 N·m |
| 本体平衡状态 | ●躯干IMU检测到横向加速度出现0.18g的短时峰值●机器人站立过程中检测到机身姿态角在0.8 s内持续偏移 | |
| 本体电气状态 | ●电池温度在连续运行15 min后由37℃升至44℃●驱动电机温升监测到左腿关节电机温度超过预设阈值并持续上升 | |
| 视觉传感 | ●前方摄像头捕捉到桌面上新出现一个红色方盒●连续视频帧记录到走廊中有人从左侧进入视野并向前移动●深度相机检测到前方1.2 m处出现一处突起障碍物 | |
| 听觉传感 | ●麦克风阵列记录到右前方持续出现人声和敲击声●语音通道捕获到用户发出"把这个拿过来"的语音输入 | |
| 力与触觉传感 | ●左手掌触觉单元检测到接触压力在0.2 s内由0.4 kPa增至2.0 kPa●前臂外侧触觉阵列记录到与物体接触点由单点扩展为多点分布 | |
| 其他传感 | ●气体传感器检测到周围空气中酒精浓度突然上升●环境传感器记录到室内相对湿度由45%上升至62% | |
| 数据处理 | 时序对齐 | ●系统将视觉中行人出现时刻与听觉中脚步声出现时刻对齐,形成同步事件序列●系统将触觉接触信号与关节力矩变化信号对齐,定位接触发生时刻 |
| 空间对齐 | ●系统将麦克风阵列估计的声源方向映射到视觉图像坐标中●系统将手掌触觉接触点映射到机器人三维本体模型表面坐标上 | |
| 语义对齐 | ●用户说"把它拿起来"时,系统将代词"它"与画面中的蓝色水杯建立对应关系●系统将"脚步声"与视觉中正在移动的人体目标关联到同一语义对象 | |
| 数据融合 | ●系统融合深度图与触觉压力变化,形成"物体表面发生形变"的联合表征●系统融合视觉遮挡信息与声学反射信息,形成"前方区域存在部分遮挡"的联合表征 | |
| 接触理解 | 接触状态识别 | ●机器人手掌接触桌面后保持压力稳定,系统识别为"稳定接触"状态●抓取过程中检测到接触力突然下降,系统识别为"接触释放"状态●夹持过程中检测到微小周期性滑移,系统识别为"滑动接触"状态 |
| 接触属性理解 | ●夹持物体时力/位移曲线显示明显压缩,系统记录为"柔软物体接触"结果●手指触觉阵列检测到周期性纹理变化,系统记录为"表面粗糙特征"结果 |
| 感知能力 | 子维度 | 典型感知事件示例 |
| 自然语言理解 | 语音输入识别 | ●系统将用户说出的"等一下"识别为语音输入文本●系统将连续语句"把箱子搬到门口"转换为文本记录 |
| 语义解析 | ●系统从"把最靠近门的箱子搬过来"中解析出目标对象为"最靠近门的箱子"●系统将"快一点"解析为语义上的时间约束或速度偏好信息 | |
| 上下文理解 | ●在连续对话中,系统将"那个"与前一句提到的水杯建立上下文关联●系统识别出"先把门打开,再把箱子搬进来"中的先后顺序关系 | |
| 多模态协同理解 | ●用户指向桌面左侧并说"把那个拿过来",系统将"那个"解析为左侧被指向的物体●用户一边看向门口一边说"那个人来了",系统结合视觉与语音完成对象指代解析 | |
| 跨语言能力 | ●系统将英文指令"Pick up the box"与中文指令"把箱子拿起来"对齐为同一语义表示 | |
| 空间理解 | 空间要素识别 | ●深度图中新出现一个低矮障碍物,系统识别为局部空间要素变化●系统检测到前方通道中新增一处可通行区域 |
| 空间关系理解 | ●系统识别到两个物体在桌面上相邻放置●系统识别到一个物体位于另一个物体内部●系统识别到某物体与桌面边缘呈接触关系 | |
| 语义空间表示 | ●系统将"门口右侧"与图像中的具体空间区域建立语义映射●系统将"桌面中央"与三维空间坐标区域关联表示 | |
| 动态空间更新 | ●系统检测到行人从走廊左侧移动到右侧,并更新空间关系表示●系统检测到桌上的盒子被移动后,实时更新其空间位置关系 | |
| 语义理解 | 物体与属性理解 | ●系统将图像中的圆柱形透明容器识别为"玻璃杯"●系统将桌面上的黄色长方体识别为"纸箱"●系统识别出物体材质为金属表面 |
| 物体关系建模 | ●系统识别出杯子并归类为餐具●系统理解"把手属于门的组成部件" | |
| 场景语义识别 | ●系统将当前环境识别为"厨房"●系统将当前环境从"走廊"切换识别为"会议室" | |
| 基本物理语义 | ●系统根据物体倾斜状态推断其仍处于稳定放置状态●系统识别到水杯边缘悬空,形成"可能失稳"的物理语义表征 | |
| 声学事件语义 | ●系统将麦克风采集到的掌声识别为"鼓掌声音事件"●系统将持续的流水声识别为"饮水相关声学事件" | |
| 模糊与隐含语义 | ●系统将"等一下再搬"解析为延迟执行的隐含语义●系统识别到"把那个放到合适的位置"中的"合适"属于模糊语义表达 |
| 感知能力 | 子维度 | 典型感知事件示例 |
| 时序和情境理解 | 时间序列建模 | ●系统连续记录到门从半开到关闭的状态变化序列●系统记录到人从站立、转身到行走的连续动作序列 |
| 行为阶段识别 | ●系统识别出搬运任务中的"准备-抓取-搬运-放置"阶段切换●系统检测到用户从"发出指令"过渡到"持续注视目标物"的阶段变化 | |
| 情境建模 | ●系统在房间突然变暗并伴随人员快速移动时形成连续情境表示●系统在长时间无交互且环境静止时形成静默情境表示 | |
| 历史追踪 | ●系统追踪到某个物体在30 s内从桌面左侧被移动到右侧●系统记录到同一行人在走廊中多次出现并改变行进方向 | |
| 趋势预测 | ●系统根据连续动作趋势预测人员下一步可能转身●系统根据环境噪声持续升高预测后续可能出现新的声学事件 |
评论