前言
本文件为规范类指导性技术文件
本文件按照 GB/T 1.1—2020《标准化工作导则 第1部分:标准化文件的结构和起草规则》的规定起草。
请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。
本文件由全国智能计算标准化工作组(SAC/SWG 32)提出并归口。
本文件起草单位:之江实验室、华中科技大学、蚂蚁科技集团股份有限公司、浙江创邻科技有限公司、上海交通大学、清华大学、北京大学、香港科技大学(广州)、杭州电子科技大学、中国科学技术大学北京海致星图科技有限公司、复旦大学、浙江大学、北京航空航天大学、北京邮电大学、中国标准化研究院、杭州悦数科技有限公司、腾讯科技(深圳)有限公司、东北大学、百度在线网络技术(北京)有限公司、北京抖音信息服务有限公司、北京枫清科技有限公司、北京百度网讯科技有限公司
本文件主要起草人:黄丹丹、金海、易小萌、郭智慧、林恒、周研、林学民、陈文光、陈红阳、童冰、张晨、邹磊、王炜、戚仕鹏、彭晋、吴敏、吕琳媛、沈游人、吴梅英、余婷、余磊、张湛、周宝健、王铮、张文、陈华钧、孙庆赟、李建欣、石川、杨成、王蒙湘、夏景春、侯凤林、方扬、程序、张岩峰、李宇、巩树凤、丛小亮、王传阳蔡红云、周景博。
智能计算图计算参考架构
1 范围
本文件确立了图计算系统的参考架构,给出了用户视图、功能视图下的图计算参与方、活动、共同关注点、功能架构、功能组件以及它们之间的关系。
本文件适用于图计算系统的构建、实施与维护
2 规范性引用文件
本文件没有规范性引用文件。
3 术语和定义
下列术语和定义适用于本文件。
3.1 图 graph
使用顶点和边描述实体及其关系的数据结构。
3.2 图计算 graph computing
对数据的图结构的抽象表达,以及基于这种数据结构的计算技术。
[来源:GB/T 46572—2025,7.5]
3.3 图分析 graph analytics
用于确定图中基本单元、拓扑结构、语义信息的统计规律及隐含特征的操作。
3.4 图查询 graph querying
对图数据结构进行指定条件信息检索的操作
3.5 图遍历 graph traversal
从图的某一顶点出发,按照某种规则对图中的所有顶点进行访问且仅访问一次的操作。
3.6 图挖掘 graph mining
从图数据中挖掘关键子结构、数据模式、统计性规律等信息的操作。
3.7 图学习 graph learning
对图结构数据进行学习,提取和发掘图结构数据中的特征和模式的操作
缩略语
下列缩略语适用于本文件。
GQL:图查询语言(Graph Query Language)
JSON:JavaScript对象表示法(JavaScript Object Notation)
XML:可扩展置标语言(Extensible Markup Language)
5 概述
本文件中的图计算参考架构提供了一个体系框架,用于系统性描述图计算的参与方、活动、共同关注点、功能架构、功能组件和实现能力等内容。
本文件中的图计算参考架构不代表任何具体的图计算系统架构,不依赖于任何具体的图计算产品、服务或解决方案,也不定义有碍技术创新的方案。
本文件中的图计算参考架构采用用户视图、功能视图进行描述,见图1。
a) 用户视图:定义图计算参与方、图计算活动、共同关注点。
b) 功能视图:定义实现图计算活动的所需功能。
用户视图描述需求和角色,功能视图描述实现这些需求所需的系统能力。
6 用户视图
6.1 概述
用户视图涉及以下图计算概念:
a) 图计算参与方:一个或一组自然人或法人,是图计算中相关活动的执行者;
b) 图计算活动:参与方所执行的一组特定任务的集合,图计算活动有明确目标,通过功能组件来实现,能交付一个或多个结果;
c) 共同关注点:在不同参与方之间协调、在图计算活动中一致实现的行为或能力,共同关注点被多个参与方、活动和功能组件所共享,且对这些参与方、活动和组件产生影响。
图计算参与方通过执行特定活动来实现图计算的实施和运行,图计算的参与方包括图计算系统供应方(见6.2.1)、图计算解决方案供应方(见6.2.2)、图计算消费方(见6.2.3)、图计算生态合作伙伴(见6.2.4)。
图计算活动包括图计算系统开发(见 6.3.1)、图计算解决方案开发(见 6.3.2)、图计算使用(见6.3.3)、开发和使用支持(见6.3.4)。
图计算参与方和图计算活动见图2。
6.2 图计算参与方
6.2.1 图计算系统供应方
图计算系统供应方应为图计算解决方案供应方及图计算消费方提供图计算系统支持及基础功能其主要活动为图计算系统的开发,包括:
a) 图查询系统开发(见6.3.1.1);
b) 图分析系统开发(见6.3.1.2);
c) 图学习系统开发(见6.3.1.3)。
6.2.2 图计算解决方案供应方
图计算解决方案供应方是集成图计算解决方案的参与方,一方面应为图计算消费方提供定制化的应用服务和技术支持,另一方面应为图计算系统供应方反馈行业需求和质量要求。其主要活动为解决方案的开发,包括:
a) 应用场景模型开发(见6.3.2.1);
b) 应用解决方案开发(见6.3.2.2);
c) 工具开发(见6.3.2.3)。
6.2.3 图计算消费方
图计算消费方是图计算产品的使用者。图计算消费方根据具体业务场景,应将对图计算解决方案的应用需求告知图计算解决方案供应方,并基于解决方案实现自身业务需求。其主要活动为图计算的使用,包括但不限于:
a) 数据导入导出(见6.3.3.1);
b) 图探索(见6.3.3.2);
c) 图管理(见6.3.3.3)。
6.2.4 图计算生态合作伙伴
图计算合作生态伙伴应为图计算消费方、图计算解决方案供应方、图计算系统供应方的活动提供支撑或辅助功能。其主要活动为图计算开发和使用的支持,包括:
a) 基础设施提供(见6.3.4.1);
b) 开源合作(见6.3.4.2);
c) 标准制定(见6.3.4.3);
d) 测评认证(见6.3.4.4)。
6.3 图计算活动
6.3.1 图计算系统开发
6.3.1.1 图查询系统开发
图查询系统是用于查询和检索图数据的系统。图查询系统开发是指图计算系统供应方为开发提供图查询系统所进行的相关活动。
图查询系统开发活动包括:
a) 需求分析:分析图查询系统的开发需求,包括功能需求及非功能需求,如是否需支持图数据持久化技术、是否需支持图模型抽象方案、所支持的查询语言分析、是否需支持分布式高可用分析等;
b) 系统设计:根据需求分析进行图查询系统设计,如前后端设计、持久化层的读写接口设计、查询功能及模式设计、查询语言解析模块设计、分布式架构设计等;
c) 系统开发:根据系统设计完成图查询系统的开发,如查询语言解析模块开发、查询功能模块开发、读写接口开发、查询结果构造模块开发、分布式查询逻辑模块开发等;
d) 系统测试:根据系统需求及设计,对图查询系统进行测试,包括单元测试、集成测试、系统测试、功能测试(如查询语言覆盖的功能范围、查询语言解析正确性、查询结果正确性、查询结果构造正确性、图查询系统是否满足需求及设计)、性能测试(如查询速度、查询执行的时间复杂度、分布式查询的一致性、可用性以及分区容忍性)等;
e) 系统升级:根据新的需求及设计,对图查询系统进行迭代升级,完善图查询系统功能,优化查询模块性能,如查询语言语法扩展、解析模块优化、查询任务执行方案优化、查询结果构造模式修改、分布式并发性策略优化、吞吐量优化等。
6.3.1.2 图分析系统开发
图分析系统是用于分析和探索图数据的系统,以发现图数据中的模式、规律、关联和统计信息。图分析系统开发是指图计算系统供应方为开发提供图分析系统所进行的相关活动。
图分析系统开发活动包括:
a) 需求分析:分析图分析系统的开发需求,包括功能需求及非功能需求,如需包含的图分析算法功能、算法描述语言、算法优化模式、数据输入形式、结果输出模型等;
b) 系统设计:根据需求分析进行图分析系统设计,如开发语言及技术选型、系统架构设计、读写接口设计、功能模块设计、算法模块设计、性能优化模块设计、增量数据管理模块设计、分布式架构设计等;
c) 系统开发:根据系统设计完成图分析系统开发,如用户界面开发、功能模块开发、算法模块开发、性能优化模块开发、增量图数据管理模块开发、分布式框架开发等;
d) 系统测试:根据系统需求及设计,对图分析系统进行测试,包括单元测试、集成测试、系统测试、 功能测试(如图分析系统功能是否完整正确、所支持的图分析算法种类)、性能测试(如算法计算结果、算法运行效率)等;
e) 系统升级:根据新的需求及设计,对图分析系统进行迭代升级,完善系统功能,优化查询模块性能,如系统功能增加、图分析算法类型增加、算子实现优化、分布式架构优化等。
6.3.1.3 图学习系统开发
图学习系统是用于图数据学习和推理的系统,提供图学习模型和算法,用于在图数据上进行特征提取、分类、预测、生成等任务。图学习系统开发是指图计算系统供应方为开发提供图学习系统所进行的相关活动。
图学习系统开发活动包括:
a) 需求分析:分析图学习系统的开发需求,包括功能需求及非功能需求,如需支持的图神经网络模型、图数据类型、深度学习平台等;
b) 系统设计:根据需求分析进行图学习系统设计,如图采样模块设计、图学习算子模块设计、图学习引擎设计、与深度学习平台接口设计、硬件资源管理层设计、可视化模块设计等;
c) 系统开发:根据系统设计完成图学习系统开发,如图采样模块开发、图学习算子模块开发、图学习引擎开发、与深度学习平台接口开发、硬件资源管理层开发、可视化模块开发等;
d) 系统测试:根据系统需求及设计,对图学习系统进行测试,包括单元测试、集成测试、系统测试、功能测试(如验证图学习系统功能是否完整正确、所支持的图学习模型的种类)、性能测试(图学习引擎运行效率、深度学习平台接口运行效率)等
e) 系统升级:根据新的需求及设计,对图学习系统进行迭代升级,完善图学习系统功能,优化采样和算子模块性能,如系统功能增加、图学习模型类型增加、算子实现优化、支撑硬件资源升级等。
6.3.2 图计算解决方案开发
6.3.2.1 应用场景模型开发
应用场景模型开发是指图计算解决方案供应方根据垂直领域的复杂问题特征和终端用户需求,对场景进行半结构化建模,用图结构的方式组织业务数据,将复杂模糊需求抽象成形式化语言可描述的图计算问题的过程。
6.3.2.2 应用解决方案开发
应用解决方案开发是指综合运用图计算领域的数据分析与运维、算法设计、系统开发等多种技术手段,提供一个完整、可靠的解决方案的过程。
应用解决方案开发活动包括:
a) 需求分析与问题抽象定义:分析用户需求,理解用户应获取的数据和表示形式,根据用户需求和任务特点对目标场景中有价值的信息进行抽象,构造数据模型,定义计算问题;
b) 工具/系统对接与适配:对接图计算查询/分析/学习系统及相关开发工具,针对系统及工具进行数据、模型、架构方面的适配;
c) 功能设计与开发:设计并开发应用解决方案中的功能模块、接口模块、用户交互界面等;
d) 系统测试与部署:根据用户需求及设计,对应用解决方案进行测试,包括功能测试和性能测试,验证方案实现的功能是否完整正确、性能是否满足设计要求、用户界面的可用性和易用性等。
6.3.2.3 工具开发
工具开发是指图计算解决方案开发过程中为了增强用户体验、提升应用开发/使用效率,针对特定的需求设计定制必要的辅助性工具。工具开发包括但不限于:
a) 图数据生成工具开发;
b) 图数据管理工具开发;
c) 可视化工具开发;
d) 图计算任务管理工具开发。
6.3.3 图计算使用
6.3.3.1 数据导入导出
数据导入导出是指图计算消费方收集数据,并负责将输入数据导入图计算解决方案。同时,图计算消费方从图计算解决方案中导出输出数据,以满足自身业务需求。
数据导入导出活动包括:
a) 数据传输:指数据在图计算系统内部与外部之间的传输,将原始数据通过图计算解决方案的数据传输接口或交互式数据录入方式载入图计算系统,将图计算的中间过程及结果数据导出系统;
b) 数据格式转换:指对图数据表示和存储的格式进行转换的活动和工具,数据格式包括但不限于边流、邻接列表、邻接矩阵、压缩稀疏行(CSR)、XML、JSON 等;
c) 数据建模:指将原始数据抽象成一套整体图数据模型的活动,包括节点抽象、边抽象、异源数据对齐、子图合并等。
6.3.3.2 图探索
图探索是指图计算消费方根据应用场景模型和解决方案,借助开发工具,探索图计算解决方案除当前业务外的其他使用场景,或通过图挖掘、图分析等方式发现隐藏的图数据信息。
6.3.3.3 图管理
图管理是指图计算消费方对图计算解决方案所涉及的图数据进行管理,维护图数据的独立性、可靠性、安全性和一致性,从而有效发挥图数据的作用。
图管理活动应包括:
a) 图数据的组织:对原始图数据进行清洗、去重、合并、格式对齐、命名、发布,根据数据源的动态变化对图数据进行维护,并发布新版本;
b) 图数据的存储:将图数据进行持久化的活动,包括选择存储格式、存储系统、存储介质,对数据进行加密及权限管理;
c) 图数据的版本控制:对图数据及其结构变化进行版本管理的活动,包括记录图结构(如顶点、边及属性)的变更历史,对不同版本的图数据进行标识、存储和追溯,以支持历史版本查询和回溯分析;
d) 图数据的更新:根据数据源变化或业务需求,对图数据进行新增、修改或删除的活动,包括顶点和边的增删改操作,并确保更新过程中的数据一致性和完整性。
6.3.4 开发和使用支持
6.3.4.1 基础设施提供
基础设施提供是指为图计算开发和使用提供存储、计算和网络资源等
6.3.4.2 开源合作
开源合作是指以开放的协作方式对图计算领域的软件、工具、代码进行开发,使其可公开、免费、自由使用。这些开源的软件或工具应在特定的开源许可证下发布,这些许可证规定了软件和工具的使用和分发方式。开源合作涉及的活动包括但不限于:
a) 制定符合图计算生态的开源开放协议和制度,既能确保专利、版权、商业秘密、合同等知识产权和成果保护,又能规范成果的合法传播和引用;
b) 制定适配图数据特性的开放数据共享许可证,建立数据枢纽,实现发布管理、查询检索、数据溯源等管理体系;
c) 建立图计算算法、模型、系统的测评基准,支持资源质量评估、数据时空完整性检测、基于FAIR原则的开放成熟度评估等一系列多维度评测;
d) 建设图计算领域的资源汇聚开源开放平台,形成数据知识汇聚沉淀,促进技术成果的共享和知识经验的传承。
6.3.4.3 标准制定
标准制定是指经过协商一致制定并由公认机构批准,形成图计算领域规范性文件的过程,以在一定范围内实现最佳秩序。图计算领域的标准化活动包括但不限于标准研制、宣贯与实施等
6.3.4.4 测评认证
测评认证是指由中立的权威机构,通过科学、规范、公开的测试与评估,对图计算系统供应方和解决方案供应方提供的产品和服务是否符合公开、客观的标准进行证明的活动。
6.4 共同关注点
共同关注点包含架构层面和运营层面,通常在多个参与方、活动和组件中共享,其实现由不同参与方、不同活动之间相互协调。
共同关注点包括:
a) 可用性:图计算服务在一段约定时间内,以不低于某个时间占比的概率,稳定对外提供服务的能力;
b) 易用性:图计算系统、工具、解决方案对用户来说易于学习和使用,应体现在具有友好的操作界面、易于理解的使用逻辑、清晰的结果展示、良好的复用性、对上下游不同系统的兼容性等;
c) 高效性:图计算系统、工具、解决方案对于用户操作的响应时间、计算时间、吞吐量等性能指标具有满足用户需求的水平;
d) 可靠性:图计算系统在面对影响正常运转的故障时维持一种可接受的服务水平的能力,在出现故障后,具有数据可恢复、任务断点可恢复的能力;
e) 隐私保护:图计算系统在处理涉及个人或敏感数据时,应遵循相关法律法规和合规要求,对数据的采集、使用、存储和共享进行规范管理,确保用户数据在授权范围内使用,不应未经许可收集、使用或对外提供,并保障用户对其数据的知情权、控制权及删除权等;
f) 数据安全:图计算系统在图数据的采集、存储、处理和传输过程中,应采取必要的安全防护措施,包括访问控制、安全审计和数据完整性保护等,以防止数据被非法访问、泄露或篡改;
g) 数据治理:图计算系统应具备对图数据进行规范化管理的能力,包括数据质量管理、数据生命周期管理以及数据溯源等,以保证数据来源可追溯、结构规范和质量可控;
h) 维护和版本控制:根据用户利益来升级/修复/拓展服务、平台或设施;
i) 服务水平:图计算系统、工具、解决方案的开发者在交付之后,持续提供使用、维护、升级服务的水平;
j) 成本:包括图计算系统、工具、解决方案开发成本、维护成本、服务成本、运行所必需的软硬件基础设施的成本等。
7 功能视图
7.1 概述
功能视图用一组功能架构及功能组件来描述图计算,功能组件是为执行图计算活动所需的功能集合。功能架构通过分层框架来描述组件,见图3。
a) 功能层:在分层框架中,特定类型的功能被分组到各层中,相邻层次的组件之间通过接口交互。
b) 功能组件:执行某一图计算活动所需的功能集合,图计算的能力由一组已经实现的功能组件所定义。一个功能组件代表图计算参考架构的一个功能元素,用来执行一个活动或活动的一部分。该功能组件在具体的参考架构实现中有相应的实现构件,例如软件组件、子系统或应用。
c) 跨层功能:提供跨越多个功能层次能力的功能组件。
图计算的分层框架定义了硬件层、存储管理层、计算引擎层、接口层、应用层5个不同的功能层,以及1个跨越各层的跨层功能集合。
分层框架见图4。对于某个具体的图计算系统,可根据实际需求选择必要的功能层和功能组件,不必包含上述所有层次。
7.2 分层框架
7.2.1 硬件层
硬件层包含执行图计算相关活动所需的各类物理资源。硬件层功能组件包括:
a) 计算设备:用于执行图数据的查询、分析、计算和学习任务;
b) 存储设备:用于存储图数据和计算所需中间结果;
c) 网络设备:用于支持图数据传输和协作计算。
上述硬件设备共同构成图计算系统的硬件基础,为上层提供必要的计算和存储资源,并通过网络设备实现图数据的传输和节点间的协作。
7.2.2 存储管理层
存储管理层负责图数据的存储和管理,并通过接口将数据提供给上层的计算引擎层使用。
根据数据处理方式,存储管理层应支持:
a) 实时处理模式:对图数据进行实时处理和分析,适用于快速响应和应有即时结果的场景;
b) 离线处理模式:对图数据进行批量处理和分析,适用于非实时响应的大规模数据集的分析和挖掘。
根据计算任务特征,存储管理层应支持:
a) 流式处理模式:对数据流进行连续处理和分析,适用于对不断产生的数据进行分析和计算的场景;
b) 批量处理模式:对一批数据进行同时处理和分析,适用于批量性质的计算任务。
以上四种处理模式可根据具体需求和场景选择使用,也可结合多种模式进行综合处理。
根据数据的存储和访问方式,存储管理层功能组件包括:
a) 内部存储:将图数据存储在计算节点内部(如本地内存或本地磁盘等),可进一步支持动态存储和静态存储两种模式;
b) 扩展存储:将图数据存储在远端内存、分布式文件系统、分布式数据库或云存储中,可进一步支持动态存储和静态存储两种模式;
以上四种类型的功能组件分别对应不同的数据接口和应用场景。
一个图计算系统可采用多种存储类型的组合,以满足不同数据规模和访问模式的需求。
7.2.3 计算引擎层
计算引擎层负责执行图计算任务,以存储管理层提供的图数据作为输入,根据任务需求选取合适的引擎进行计算,计算完成后将结果通过接口层返回。计算引擎层功能组件包括:
a) 图查询/更新引擎:用于执行图查询和图更新操作,支持对图数据的灵活访问和修改;
b) 图分析引擎:用于执行图分析任务,理解和挖掘图数据中的关系和结构;
c) 图学习引擎:用于从图数据中学习和预测,执行图学习任务,进行图的特征提取、图的嵌入学习、图的分类和预测等操作。
计算引擎层包括图查询/更新、图分析和图学习三类计算引擎,一个图计算系统可包括一个或多个计算引擎,以满足不同图计算任务需求。
7.2.4 接口层
接口层是图计算系统和应用之间进行通信的关键组成部分,用于提供图计算系统的标准化使用接口和传输协议。接口层功能组件包括:
a) 查询接口:是系统与用户或其他应用程序之间的主要交互点,用于与图计算系统进行交互,向系统提出请求以获取信息或执行特定操作;用户可通过查询接口向系统提交查询请求,如检索数据、增加数据、修改数据、删除数据、执行分析等;
b) 开发接口:开发人员可通过开发接口编写应用程序、自定义算法、服务端插件或集成第三方工具,有助于系统的灵活性和可定制性;
c) 算法接口:可通过算法接口调用图计算算法,执行特定的图计算任务,也称为执行接口;
d) 运维接口:主要用于系统的监控、管理、维护,帮助管理员管理系统的功能模块和性能调优。
接口层的目的在于使上层的应用层能使用图计算系统,而不必了解底层实现的细节。
7.2.5 应用层
应用层是对图计算解决方案供应者所提供服务的实现,可帮助图计算消费方更加便捷地执行图计算任务、管理图数据资产、高效构建图计算应用。应用层功能组件包括:
a) 图数据生成:帮助用户创建具有特定结构和属性的图数据的工具;
b) 图数据管理:用于管理图数据和其元数据的工具;
c) 图数据可视化:用于将图数据以可视化的方式呈现给用户的工具;
d) 图计算任务管理:用于对图计算任务进行开发、调试、发布、调度、监控和管理的工具。
图计算的应用涵盖金融风控、科学计算、搜索等场景,本文件仅对应用层功能组件进行规范,不对具体应用场景提出要求。
7.2.6 跨层功能
跨层功能包括一系列与上述五层的组件进行交互以提供支撑的功能组件。支撑能力包括但不限于:
a) 安全隐私:用于保障图计算系统的数据安全和用户隐私;
b) 状态监控:用于对系统级运行状态及任务执行情况进行监测;
c) 任务管理:用于对跨层任务进行统一调度与协调;
d) 故障定位:用于对系统级运行异常和故障进行定位与分析;
e) 测试:用于对系统功能和性能进行验证;
f) 部署维护:用于支持系统的部署、运行及运维管理。
7.3 功能组件
7.3.1 硬件层
7.3.1.1 计算设备
计算设备功能组件提供执行图计算活动时所需的运算能力和计算资源,包括:
a) 中央处理器(CPU)、图形处理器(GPU)等通用处理器;
b) 基于现场可编程门阵列(FPGA)、应用型专用集成电路(ASIC)的图计算专用加速器,包括但不限于图遍历加速器、图挖掘加速器、图学习加速器等,可针对图遍历、图挖掘、图学习等典型任务进行优化;
c) 由通用处理器和/或图计算加速器组成的计算终端和服务器集群。
7.3.1.2 存储设备
存储设备功能组件提供由各类存储介质构成的存储硬件,包括内存、硬盘,以及由其组成的磁盘阵列、网络存储、存储服务器等。存储设备功能组件应具备供图计算活动所需的数据存储、数据访问能力。
7.3.1.3 网络设备
网络设备功能组件为计算设备提供连接和交互能力,包括网络适配器、交换机、路由器以及光纤、线缆等网络硬件,以及由其组成的局域/跨越网络等。
7.3.2 存储管理层
7.3.2.1 内部存储
内部存储功能组件将图数据存储在计算节点的内存或本地硬盘,具有以下特征:
a) 应支持小规模图数据的存储;
b) 应支持运行时状态或中间结果的存储;
c) 应支持快速访问,提供高吞吐、低延迟的数据读取能力;
d) 应支持实时计算场景下的数据存储需求。
内部存储可进一步支持动态存储和静态存储两种模式。动态存储应支持图结构数据的增删改、实时交互、离线分析、并发读写操作,宜支持创建数据快照。静态存储用于结构固定的图数据,应支持并发读写,宜支持离线分析及创建数据快照
7.3.2.2 扩展存储
扩展存储功能组件将图数据存储在外部系统中,而不必存储在图计算系统内部,可支持分布式文件系统、云存储或大数据生态的存储。具有以下特征:
a) 应支持大规模图数据存储;
b) 应通过冗余备份或分布式复制,使其具备高可靠性和容错性,在某个节点发生故障时,图数据仍然保持可用;
c) 应具备良好的可扩展性,可根据需求扩展存储容量和计算节点数量,以应对不断增长的图数据量。
扩展存储可进一步支持动态存储和静态存储两种模式,其功能要求参照内部存储中动态存储与静态存储的定义执行。
7.3.3 计算引擎层
7.3.3.1 图查询/更新引擎
图查询/更新引擎提供查询、更新图数据的功能,具有以下特征:
a) 应支持用户使用图查询语言(如 Cypher或 GQL)实现对图数据的操作,如节点、边、路径查询,及过滤、排序、聚合等操作;
b) 应支持对数据的并发读写,典型图操作为局部数据操作,每个查询仅涉及部分点边;
c) 宜提供可视化和交互支持。
7.3.3.2 图分析引擎
图分析引擎支持根据用户分析需求,在全量图数据集上运行迭代计算,实现高复杂度的图分析。
图分析适用场景包括但不限于路径查询、社区发现、重要性排名、模式匹配等
图分析引擎支持的算法包括但不限于网页排名(PageRank)算法、弱连通分量(WCC)算法、广度优先搜索(BFS)算法、标签传播(LPA)算法、单源最短路径(SSSP)算法等。图分析引擎可根据实际需求选择实现这些算法,不必全部支持
7.3.3.3 图学习引擎
7.3.3.3.1 图学习引擎支持图机器学习算法与模型的运行,图学习引擎具有以下特征:
a) 应支持图数据采样,为图机器学习算法与模型从全量图数据中采样出其训练或推断所需的部分或全部图数据;
b) 应支持图模型训练,完成具体的图机器学习算法与模型的学习过程;
c) 应支持图模型推理,利用已训练好的图机器学习模型对给定的样本进行推理预测。
7.3.3.3.2 图学习引擎所支持的图机器学习算法与模型包括但不限于:
a) 图采样:按照一定的策略对每个节点采集其在图数据中对应的结构和语义特征;
b) 图嵌入:将图数据的特征表示映射到低维空间的过程;
c) 卷积图神经网络:卷积神经网络是在图数据上推广的一类神经网络模型;
d) 循环图神经网络:包含门控机制的图神经网络模型;
e) 图注意力网络:包含注意力机制的图神经网络模型;
f) 图残差网络:包含残差连接的图神经网络模型;
g) 超图神经网络:基于超图数据构建的图神经网络模型。
7.3.4 接口层
7.3.4.1 查询接口
查询接口功能组件具有以下特征:
a) 应提供图查询语言接口,支持至少一种图查询语言(如 OpenCypher、SPARQL、GQL等);
b) 应支持图数据库的基本操作,通过查询接口对顶点和边的增删查改、顶点和边上的属性增删查改;
c) 应支持多个图的共存和管理,通过查询接口对图数据库中的指定图进行管理操作,包括创建、修改、删除等;
d) 应支持通过查询接口定义、增加、修改和删除属性图模式,包括顶点和边的标签或类型,以及属性的类型;
e) 应支持通过查询接口对图模式进行状态查询和管理;
f) 应支持通过查询接口完成图拓扑的查询;
g) 应支持通过查询接口对顶点和边的关联关系进行属性的过滤;
h) 应支持通过查询接口完成加减乘除等算术计算以及与或非逻辑计算;
i) 应支持复杂查询,如聚合、排序、分页、去重等;
j) 应支持通过查询接口调用多种函数能力;
k) 宜支持事务的原子性、一致性、隔离性、持久性(ACID)特性;
l) 宜支持通过查询接口批量更新数据,包括顶点和边及其属性的增加、删除、修改
7.3.4.2 开发接口
开发接口功能组件具有以下特征:
a) 应提供至少一种主流编程语言的客户端编程开发接口,例如Java、Python、Go等;
b) 应支持通过开发接口调用上述查询接口的全部功能;
c) 宜具备服务端编程的能力,包括自定义函数和过程;
d) 宜支持表现层状态转换应用程序编程接口(RESTful API)。
7.3.4.3 算法接口
算法接口功能组件具有以下特征:
a) 应支持通过算法接口提交图计算任务;
b) 应支持通过算法接口配置图计算算法的参数;
c) 应支持通过算法接口获取图计算算法执行结果;
d) 应支持中心性类图算法;
e) 应支持路径查询类图算法;
f) 应支持社区发现类图算法;
g) 应支持相似度分析类图算法;
h) 应支持模式挖掘类图算法;
i) 宜支持图表示学习算法;
j) 宜支持图神经网络类算法。
7.3.4.4 运维接口
运维接口功能组件具有以下特征:
a) 应支持通过运维接口导入外部数据源(如初始批量导入、增量批量导入等);
b) 应支持通过运维接口完成系统在线扩缩容;
c) 应支持通过运维接口对数据进行备份和恢复;
d) 应支持通过运维接口对不同用户操作权限进行验证和控制;
e) 应支持通过运维接口查询用户数据操作记录;
f) 宜支持通过运维接口对图计算系统的运行状态进行监控;
g) 宜支持通过运维接口完成图计算系统的在线升级。
7.3.5 应用层
7.3.5.1 图数据生成
图数据生成功能组件具有以下特征:
a) 应支持生成模拟或合成的图数据;
b) 应支持图数据向图计算系统的导入;
c) 应支持图计算结果从图计算系统内的导出;
d) 应支持数据格式转换、数据清洗、数据映射、数据匹配等工作。
7.3.5.2 图数据管理
图数据管理功能组件具有以下特征:
a) 应支持维护图数据字典;
b) 应支持管理图数据的访问权限;
c) 应支持追溯图数据的构建血缘。
7.3.5.3 图数据可视化
图数据可视化功能组件可帮助图计算系统的客户更好的观察图上实体关联关系,图数据分布等重要信息,具有以下特征:
a) 应支持图形界面、交互式查询和分析等功能;
b) 宜支持节点和边的过滤和高亮显示,以便用户更容易地识别和分析关键信息;
c) 宜支持自定义标签和工具提示。
7.3.5.4 图计算任务管理
图计算任务管理功能组件负责对图计算任务的执行进行管理,以便图计算消费方便捷、高效地执行任务。图计算任务管理功能组件具有以下特征:
a) 应支持任务调度和资源分配,以确保任务能够在合适的计算资源上执行,包括但不限于任务优先级管理、资源分配策略、任务队列管理等;
b) 应支持任务监控和状态管理,以实时监控任务的执行状态和进度,包括但不限于任务的启动、暂停、终止等操作,以及任务执行日志和统计信息的收集和展示;
c) 应支持性能优化,包括但不限于任务的并行化、负载均衡、数据分区、数据压缩等,以减少计算时间和资源消耗。
d) 应支持容错和恢复,以应对计算过程中的错误和故障。
注:本组件聚焦于应用层的任务管理,强调单个图计算任务的执行效率、稳定性和可靠性
7.3.6 跨层功能
7.3.6.1 安全隐私
安全隐私功能组件提供包括身份验证、访问控制、数据加密、安全审计等在内的安全能力,以及与安全能力相关的策略机制,用于保护图数据和用户隐私。
7.3.6.2 状态监控
状态监控功能组件提供包括实时监控系统运行状态、资源利用率、任务执行情况等在内的监控能力,以保证整个图计算系统的稳定性和性能表现。状态监控功能组件具有以下特征:
a) 应支持监控计算资源、存储资源、网络状态等硬件和基础设施的运行状况;
b) 应支持实时跟踪各层任务的执行状态和进度,收集执行日志与统计信息;
c) 宜支持提供资源利用率分析、异常检测和预警机制,支持运维决策。
注:本组件关注系统整体健康及任务运行情况,单个任务的具体管理由应用层的图计算任务管理功能组件负责。
7.3.6.3 任务管理
任务管理功能组件负责对系统级任务的调度、资源管理和数据传输,以提升图计算系统的整体性能和可扩展性。任务管理功能组件具有以下特征:
a) 应支持系统级任务调度,统一调度跨层任务,实现合理的资源分配与负载均衡;
b) 应支持对计算、存储和网络资源进行分配与优化,提高整体利用效率;
c) 应支持保障跨层任务的数据流通顺畅。
7.3.6.4 故障定位
故障定位功能组件应支持定位图计算系统的故障,帮助系统快速完成故障恢复。
7.3.6.5 测试
测试功能组件应支持测试系统性能、可靠性、安全性等方面,发现和修复系统缺陷。
7.3.6.6 部署维护
部署维护功能组件应支持图计算系统部署、配置、升级、维护和修复,保证系统的长期稳定运行。
参考文献
[1] GB/T 32399—2024 信息技术 云计算 参考架构
[2] GB/T 46572—2025 智能计算 术语
[3] ISO/IEC/IEEE 42010:2022 Software,systems and enterprise—Architecture description
评论