前言
本文件按照 GB/T 1.1—2020《标准化工作导则 第1部分:标准化文件的结构和起草规则》的规定起草。
请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。
本文件由全国信息技术标准化技术委员会(SAC/TC 28)提出并归口。
本文件起草单位:国网山东省电力公司经济技术研究院、中国电子技术标准化研究院、国网山东省电力公司、中国科学院自动化研究所、哈尔滨工业大学、中国软件评测中心(工业和信息化部软件与集成电路促进中心)、清华大学、国机工业互联网研究院(河南)有限公司、国网山东省电力公司聊城供电公司、东方电气集团东方汽轮机有限公司、潍柴动力股份有限公司、中国黄金集团数智科技有限公司、南方电网互联网服务有限公司、国能信控技术股份有限公司、昆仑数智科技有限责任公司、天润工业技术股份有限公司、东方电气集团东方锅炉股份有限公司、国网电力工程研究院有限公司、东方电气启能(深圳)科技有限公司、攀枝花攀钢集团设计研究院有限公司。
本文件主要起草人:王程安、赵立华、王凯、樊静雨、王振坤、王瑞敏、穆聪聪、王忠杰、周润松、徐银、薛玉静、苍天竹、王军平、闫纪红、邵志敏、常英贤、刘晓燕、郝哲、黄双喜、李迪、李函、黎亚亮、张传升、胡锐、杨威、丛宏峰、李爽、房运涛、王青春、程思瑶、杨思维、黄琳、宋立、夏丽君、罗革新、王俊晖、李勇、欧阳同舟、谭虎、王进、刘小芸、杨臻、马裕超、钟斌、冯涛、刘梦琪、董云天、姬思阳。
1 范围
本文件确立了工业机理模型的评价指标框架,规定了评价指标说明、评价过程和计算方法。
本文件适用于工业机理模型供应商以及工业互联网平台建设方、应用方和第三方测评机构等工业机理模型的各相关方开展工业机理模型评价工作。
2 规范性引用文件
本文件没有规范性引用文件。
3 术语和定义
下列术语和定义适用于本文件。
3.1 工业互联网平台 industrial internet platform
面向制造业数字化、网络化、智能化需求,构建基于云平台的海量数据采集、汇聚和分析服务,支撑制造资源广泛连接、弹性供给、高效配置的系统。
3.2 工业机理模型 industrial mechanisms model
针对工业制造过程和管理过程等所涉及的工艺、材料、设备等制造技术方法,运用定律、定理和原理建立的数学模型,能够揭示工业制造过程的内在科学规律和技术原理,并利用算法开发形成的程序。
3.3 模型故障 model fault
在工业机理模型运行过程中,模型本身或模型与实际工业运行环境不匹配,导致模型输出失真、失效、异常,无法正确反映设备、工艺或生产过程真实状态与规律,进而影响预测、诊断、控制、优化等应用功能的异常状态。
4 指标框架
工业机理模型评价指标框架见图 1。工业机理模型评价指标体系属性域包括基础属性、性能属性、应用属性。其中,基础属性域包括机理模型的完整性、准确性和安全性 3 项能力要素,8 个评价指标;性能属性域包括机理模型的稳定性、可用性、实时性和可移植性 4 项能力要素,13 个评价指标;应用属性域包括机理模型应用过程中的结果适用性、平台兼容性和演化性 3 项能力要素,8 个评价指标。

5 指标说明
5.1 基础属性
工业机理模型的基础属性域包括完整性、准确性和安全性 3 项能力要素,8 个评价指标,见表 1。
| 能力要素 | 指标名称 | 指标说明 | 指标分类 | 计算公式 |
| 完整性 | 信息完整度 | 评估构建的模型是否完全表达特定工业场景中的工业机理信息注:模型信息包含本体几何、动态响应、工艺、质量、资源、文件、人员、环境等,本文件仅做概括性评价,针对不同工业场景的模型信息,根据评价的对象以该框架为基础填充颗粒度更高的评价细则。 | 必选指标 | X111 = (A111)/(B111)式中:X111——信息完整度;A111——符合完整度要求的机理类型和关系类型数量;B111——特定工业场景中机理类型和关系类型总数 |
| 功能覆盖度 | 评估构建的模型功能是否完全覆盖特定工业场景中的全部功能需求 | 必选指标 | X112 =1 - (A112)/(B112)式中:X112——功能覆盖度;A112——模型缺少的功能数量;B112——特定工业场景中功能需求总数 | |
| 准确性 | 数据准确度 | 评估构建的模型的数据格式(包括数据类型、数值范围、数据长度、精度等)、数据内容是否满足预期要求 | 必选指标 | X121 = (A121)/(B121)式中:X121——数据准确度;A121——满足数据格式及数据内容准确度要求的机理模型数据集中元素的数量;B121——机理模型数据集中元素的数量 |
| 能力要素 | 指标名称 | 指标说明 | 指标分类 | 计算公式 |
| 准确性 | 参数准确度 | 评估构建的模型参数是否能准确反映特定工业场景中的实际参数注:模型参数包含物理实体的状态、能力、位姿等运行参数,以及物理实体运行相关概念和知识。 | 必选指标 | 式中:X122——参数准确度;n——模型参数总数;prvir——第i个参数在物理实体中的实际值;prvim——第i个参数在模型中的实际值;fc——(|prvir-prvim|)/(prvir)项的归一化函数,用于将(|prvir-prvim|)/(prvir)项的值映射在[0,1]区间内,归一化形式可基于模型的具体应用需求进行自定义 |
| 状态准确度 | 评估构建的模型是否能准确反映特定工业场景中物理实体的实际状态注:根据一致程度越高分值越高的原则进行人工打分,取值范围为[0,1]。 | 必选指标 | X123=(A123timeswA123+B123timeswB123)×100%式中:X123——状态准确度;A123——模型与物理实体在行为方面的一致程度;B123——模型与物理实体在功能方面的一致程度;wA123——A123的权重,根据业务需求确定取值范围为[0,1];wB123——B123的权重,根据业务需求确定取值范围为[0,1],wA+wB=1 | |
| 安全性 | 访问控制度 | 防止因未经授权访问而造成的数据破坏或数据篡改的程度 | 必选指标 | X131=1-(A131)/(B131)式中:X131——访问控制度;A131——机理模型中因未经授权访问而破坏或篡改数据项的数量;B131——机理模型中需要避免数据破坏或篡改的数据项数量 |
| 数据加密正确率 | 按照机理模型需求规格说明中的要求,实现数据项加密/解密的正确程度 | 可选指标 | X132=(A132)/(B132)式中:X132——数据加密准确率;A132——机理模型中正确加密/解密的数据项数量;B132——机理模型中需要加密/解密的数据项数量 |
| 能力要素 | 指标名称 | 指标说明 | 指标分类 | 计算公式 |
| 安全性 | 数据备份完整度 | 评估机理模型数据备份完整性 | 可选指标 | X133 = (A133)/(B133)式中:X133——数据备份完整度;A133——机理模型实际定期备份数据项的数量;B133——机理模型需要备份的数据项的数量 |
5.2 性能属性
工业机理模型的性能属性域包括稳定性、可用性、实时性和可移植性 4 项能力要素,13 个评价指标,见表 2。
| 能力要素 | 指标名称 | 指标说明 | 指标分类 | 计算公式 |
| 稳定性 | 故障排除率 | 评估机理模型运行故障可排除和修复的情况 | 必选指标 | X211 = (A211)/(B211)式中:X211——故障排除率;A211——机理模型运行中被纠正故障数量;B211——机理模型测试中出现的故障数量 |
| 平均失效间隔 | 评估机理模型在运行中失败间隔的时长 | 必选指标 | X212 = (A212)/(B212)式中:X212——平均失效间隔;A212——机理模型运行时间;B212——机理模型运行发生故障数量 | |
| 模型故障率 | 评估机理模型在规定时间内的平均故障数 | 必选指标 | X213 = (A213)/(B213)式中:X213——模型故障率;A213——机理模型运行发生故障数量;B213——机理模型运行时间 | |
| 可用性 | 可配置率 | 评估机理模型能够根据具体的应用需求设定模型的相关参数 | 必选指标 | X221 = (Σi=1nxxi)/n式中:X221——可配置率;n——模型包含的需要进行配置的参数总数;xxi——表示第i个参数能否进行灵活配置取值为1或0 |
| 能力要素 | 指标名称 | 指标说明 | 指标分类 | 计算公式 |
| 可用性 | 可组装率 | 评估机理模型具备与其他模型组装的能力 | 可选指标 | 不支持与其他机理模型组装,得0分;支持与同层级机理模型组装,得0.5分;支持与各层级机理模型组装,得1分 |
| 可扩展率 | 评估机理模型是否具备在原模型基础上进行相应扩展的能力 | 可选指标 | X223=(A223timesB223)×100%式中:X223——可扩展率;A223——机理模型能否扩展,取值为1或0;B223——A223的权重,根据业务需求确定,取值范围为[0,1] | |
| 可裁剪率 | 评估机理模型是否具备在原模型基础上进行相应裁剪的能力 | 可选指标 | X224=(A224timesB224)×100%式中:X224——可裁剪率;A224——机理模型能否裁剪,取值为1或0;B224——A224的权重,根据业务需求确定,取值范围为[0,1] | |
| 可复用率 | 评估机理模型能够被用于多个系统 | 必选指标 | X225=(A225)/(B225)式中:X225——可复用率;A225——为可重复使用而设计和实现的机理模型的数量;B225——系统中机理模型的数量 | |
| 实时性 | 加载时间 | 评估机理模型完成基准数据集加载的时间 | 必选指标 | X236=Reci-Sendi(isimn)式中:X236——加载时间;Xi——第i次加载的响应时间;Reci——第i次加载收到响应结果的时间;Sendi——第i次发出加载数据请求的时间;n——测试的总数 |
| 响应时间 | 评估机理模型在限定的时间内对用户发送的请求的响应比例 | 必选指标 | X232=(A232)/(B232)式中:X232——响应时间;A232——发出请求后在限定时间内响应的次数;B232——发出请求的总次数 |
| 能力要素 | 指标名称 | 指标说明 | 指标分类 | 计算公式 |
| 可移植性 | 安装时效 | 评估机理模型在限定的时间内安装成功效率 | 必选指标 | X241 = (Σi=in(1 - Ai / Bi))/n式中:X241——安装时效;Ai——第i次安装所消耗的总工作时间;Bi——第i次安装的预期时间;n——测量的安装次数 |
| 硬件环境适配 | 评估机理模型是否能够适应不同的系统硬件环境 | 必选指标 | X242 =1 - (A242)/(B242)式中:X242——硬件环境适配度;A242——测试期间未完成或结果没有达到要求的功能数量;B242——机理模型在不同硬件环境中需要测试的功能数量 | |
| 软件环境适配 | 评估机理模型是否能够适应不同的系统软件环境 | 必选指标 | X243 =1 - (A243)/(B243)式中:X243——功能覆盖度度;A243——测试期间未完成或结果没有达到要求的功能数量;B243——机理模型在不同软件环境中需要测试的功能数量 |
5.3 应用属性
工业机理模型的应用属性域包括结果适用性、平台兼容性和演化性 3 项能力要素,8 个评价指标,见表 3。
| 能力要素 | 指标名称 | 指标说明 | 指标分类 | 计算公式 |
| 结果适用性 | 精确率 | 评估机理模型符合请求的结果占返回结果总数的比例 | 必选指标 | XPrecision = TP/(TP + FP + TN + FN)式中:TP——真阳性:被识别并与真实相符的实体、关系或属性数量;FP——假阳性:被识别但与真实不符的实体、关系或属性数量;TN——真阴性:被标注为真实但未识别的实体、关系或属性数量;FN——假阴性:被标注为真实但未识别的实体、关系或属性数量 |
| 能力要素 | 指标名称 | 指标说明 | 指标分类 | 计算公式 |
| 结果适用性 | 召回率 | 评估机理模型运行结果中被识别的实体、关系或属性对与真实相符的实体、关系或属性覆盖的程度 | 必选指标 | 式中:TP——真阳性:被识别并与真实相符的实体、关系或属性数量;FP——假阳性:被识别但与真实不符的实体、关系或属性数量 |
| 平台兼容性 | 数据格式兼容度 | 评估机理模型与平台交换规定的数据格式的比例注:关注工业机理模型与工业互联网平台数据格式耦合度。 | 必选指标 | X321 = (A321)/(B321)式中:X321——数据格式兼容度;A321——机理模型与平台可交换数据格式的数量;B321——需要交换的数据格式数量 |
| 数据协议兼容度 | 评估平台支持规定的机理模型数据交换协议的比例 | 可选指标 | X322 = (A322)/(B322)式中:X322——数据协议兼容度;A322——平台实际支持与机理模型数据交换协议的数量;B322——需要交换的数据交换协议数量 | |
| 多维特征融合度 | 评估机理模型的融合程度 | 可选指标 | X323 = (Σi=in ( ffi/mfi timeswx' ) timeswx)/n式中:X323——多维特征融合度;n——机理模型由n个更低层级的机理模型组装而成;ffi——第i个机理模型的多维度子模型中能够进行融合的特征个数;mfi——第i个机理模型多维度子模型数据挖掘出的需要进行融合的特征总数;wx'——第i个机理模型多维度特征的融合效果因子,根据融合效果越好分值越高的原则进行人工打分,取值范围为[0,1];wx——n个机理模型多维度特征的融合效果因子 |
| 能力要素 | 指标名称 | 指标说明 | 指标分类 | 计算公式 |
| 演化性 | 自适应能力 | 评估机理模型能否自主适应任务需求、运行环境、自身功能的变化 | 可选指标 | X331 = (A331 timeswA + B331 timeswB + C331 timeswC) ×100%式中:A331、B331、C331——表示机理模型能否自主适应任务需求、运行环境、自身功能的变化,取值为1或0;wA、wB、wC——A331、B331、C331的权重,根据业务需求确定,取值范围为[0,1],wA + wB + wC =1 |
| 自治能力 | 评估机理模型能否在无人参与下长时间正常运行 | 可选指标 | 机理模型运行完全依赖人工操作,得0分;机理模型运行部分依赖人工操作,得0.3分;机理模型能够在无人参与下在一段时间内正常运行,得0.6分;机理模型能够在无人参与下长时间内正常运行,得1分 | |
| 自学习能力 | 评估机理模型自主发现参数间关联关系、参数演化规律和基于现有知识进行决策优化的能力 | 可选指标 | X333 = (A333 timeswA + B333 timeswB) ×(C333 timeswC +1 - wC) ×100%式中:A333、B333、C333——表示机理模型自主发现参数间关联关系、参数演化规律和基于现有知识进行决策优化的能力,取值为1或0,根据能力越强得分越高的原则进行人工打分;wA、wB、wC——A333、B333、C333的权重,根据业务需求确定,取值范围为[0,1],wA + wB =1 |
6 评价过程及计算方法
6.1 指标分类
结合工业机理模型的应用场景特点,将工业机理模型指标分为 2 类。
a) 必选指标,反映工业机理模型的基本要求的指标,是必须选择的指标,无特殊情况皆应采用。
b) 可选指标,反映工业机理模型的可选要求的指标,该指标所需数据将在满足一定情况下才可能获得,或某些特定场景机理模型存在此方面的要求,作为可选的指标。在可获得相关数据或信息时,宜选择此类指标。
对于不同类型的模型,以及不同的评价目的,模型量化评价所关注的特性不同,对评价结果的期望也不同。因此,在进行量化评价时,宜根据不同类型的模型以及不同的评价目的,对本文件中的模型指标体系进行适当的剪裁或扩充,以获得适合评价需求的指标体系。
6.2 指标选择原则
结合机理模型自身的特点和需方的实际需求,合理选择指标,指标的选择原则包括但不限于:
能充分体现工业机理模型的特征;
——工业机理模型数据易获取且获取的代价较小;
便于工业机理模型评价得分计算,可操作性较好;
符合最佳实践,确保评价结果的广泛认可与应用。
6.3 指标权值的确定
指标权值的确定宜采用主观赋权法、客观赋权法和组合赋权法等方法,并结合需方的实际要求确定具体的权值。
6.4 计算公式
对工业机理模型进行评价,设 X 为该机理模型的评价得分,计算步骤如下。
a) 对指标值进行加权求和,计算能力要素的评价得分。按公式(1)计算。
Xij = sumXijk timesWijk(1)
Xij 能力要素的得分;
Xijk 指标的测量值;
Wijk 指标对应的权值;
i 属性域的标识;
j 能力要素的标识;
k 指标的标识。
b) 对能力要素进行加权求和,计算属性域的评价得分。按公式(2)计算。
Xi = sumXij timesWij(2)
Xi 属性域的得分;
Xij 能力要素的得分;
Wij 能力要素对应的权值;
i 属性域的标识;
j 能力要素的标识。
c) 对属性域进行加权求和,计算机理模型的评价得分。按公式(3)计算。
X = sumXi timesWi(3)
X ——机理模型的得分;
Xi 属性域的得分;
Wi 属性域对应的权值;
i —— 属性域的标识。

评论