JT/T 1594-2026 航运大数据平台数据管理通用技术要求

JT/T 1594—2026

目次

前言 Ⅲ

1 范围 1

2 规范性引用文件 1

3 术语和定义 1

4 缩略语 1

5 总体框架 1

6 功能要求 2

7 性能要求 4

参考文献 5

Ⅰ

前言

本文件按照 GB/T 1 . 1—2020《标准化工作导则第 1 部分 :标准化文件的结构和起草规则》的规定起草。

请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。

本文件由交通运输信息通信及导航标准化技术委员会提出并归口。

本文件起草单位 : 中远海运科技( 北京)有限公司、中国远洋海运集团有限公司、交通运输部科学研究院。

本文件主要起草人 :金颖、蒋时飞、张宇、吴晓锋、孙哲、张辉、李云浩、魏明明、李浩宁、刘文文、荀媛、黄莉莉、王涛、黄海涛、曹剑东、彭洁思、刘娜、李慧娟、王娜、郭亚茹、白紫秀、张平。

Ⅲ

航运大数据平台数据管理通用技术要求

1 范围

本文件规定了航运大数据平台数据管理的总体框架、功能要求和性能要求。

本文件适用于主管部门和航运企业大数据平台的规划、设计、建设和管理。

2 规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中 ,注日期的引用文件 , 仅该日期对应的版本适用于本文件 ;不注日期的引用文件 ,其最新版本( 包括所有的修改单)适用于本文件。

GB/T 5271. 1 信息技术词汇第 1 部分 :基本术语

GB/T 35295 信息技术大数据术语

GB/T 38673 信息技术大数据大数据系统基本要求

JT/T 1522 交通运输数据安全分级和保护要求

3 术语和定义

GB/T 5271. 1 和 GB/T 35295 界定的以及下列术语和定义适用于本文件。

3. 1

航运大数据平台 shipping big data platform

利用现代信息技术 ,对航运大数据进行汇聚、存储、开发、治理、服务和运维的平台。

注 :航运大数据指航运行业在运营、管理、监控等全流程中产生的多维度、多来源数据的集合 ,涵盖船舶数据、港口数

据、航道数据、航运物流数据、船员数据、水文气象数据、航运监管数据、航运市场数据等。

4 缩略语

下列缩略语适用于本文件。

AIS :船舶自动识别系统( Automatic Identification System)

API :应用程序接口( Application Program Interface)

JSON :JavaScript 对象简谱(JavaScript Object Notation)

XML :可扩展标记语言( Extensible Markup Language)

5 总体框架

航运大数据平台由数据汇聚、数据存储、数据开发、数据服务、数据治理和平台运维 6 个部分组成 ,总体框架见图 1。

a) 数据汇聚 :实现数据库同步、API 接口调用、文件传输和前置机同步等多种模式的数据汇聚能力。

b) 数据存储 :实现元数据存储、数据湖存储和数据仓库存储能力。

1

c) 数据开发 :实现批处理计算、流处理计算、交互式计算和图计算能力 ,并提供开发项目管理和多环境开发工具。

d) 数据服务 :实现 API 接口调用、数据库同步和文件传输等多种模式的数据服务能力。

e) 数据治理 :实现数据标准管理、数据质量管理、数据安全管理、数据资源管理和元数据管理能力。

f ) 平台运维 :实现资源管理、系统管理和监控告警能力。

图 1 航运大数据平台总体框架

6 功能要求

6 . 1 数据汇聚

数据汇聚功能应满足 GB/T 38673 的要求 ,还应满足以下要求 :

a) 支持对 AIS、电子海图、雷达图像、北斗卫星导航等数据进行汇聚 ;

b) 支持数据库同步、API 接口调用、文件传输和前置机同步等接入方式 ;

c) 支持接收和处理实时数据流。

6 . 2 数据存储

数据存储功能应满足 GB/T 38673 的要求 ,还满足以下要求。

a) 应支持结构化数据存储 ,结构化数据至少应包括 :

1) 港口码头信息 ;

2) 航道信息、航标信息、航线信息 ;

3) 船闸信息 ;

4) 船舶信息 ;

5) 货物信息 ;

6) 船员信息 ;

2

7) 水文信息。

b) 应支持 JSON、XML 等半结构化数据存储 ,半结构化数据至少应包括 :

1) 船舶日志 ;

2) 航行报告 ;

3) 船舶运行监测数据 ;

4) 航道水深探测数据 ;

5) 航道水质监测数据。

c) 应支持文本、图像、音频、视频等非结构化数据存储 ,非结构化数据至少应包括 :

1) 电子海图 ;

2) 船舶监控视频或照片 ;

3) 港口监控视频或照片。

d) 应支持根据数据的重要性和变化频率制定数据冗余存储和备份策略 ,并具备数据恢复能力 ,能够在数据丢失或损坏时恢复数据。

e) 应支持使用国密算法对涉及个人隐私或商业机密的敏感数据进行加密存储。

f ) 宜支持分区存储 ,元数据区存储全部汇聚数据的元数据信息 ,数据湖区存储结构化、半结构化和非结构化的全部原始数据 ,数据仓库区存储对数据湖区原始数据进行处理和分析后的结构化数据。

6 . 3 数据开发

数据开发功能应满足 GB/T 38673 的要求 ,还满足以下要求 :

a) 应支持分布式并行计算框架实现计算任务的多节点协同处理 ,可自动拆分计算任务或数据分片至不同计算节点 ,并能采用动态资源调度策略 ,根据任务优先级和资源负载情况自动分配计算资源 ;

b) 应支持流式数据的窗口计算及实时聚合、过滤、转换等操作 ,满足任务资源动态扩缩容 ,能够根据数据流量自动调整计算资源 ;

c) 应支持流式计算与批量计算的混合使用 ,能够将实时计算结果与历史数据进行关联分析 ;

d) 宜支持对数据开发项目的统一管理和空间隔离 ,对任务、模型、脚本、安全规则、质量规则等相关开发成果 ,提供项目级权限管理 ,针对不同用户设置项目的访问和操作权限 ;

e) 宜支持多环境开发 ,提供开发环境、测试环境和生产环境的自动发布。

6 . 4 数据服务

数据服务功能应满足 GB/T 38673 的要求 ,还应满足以下要求 :

a) 提供数据服务目录 ,支持数据服务开放 ,提供数据需求方浏览、申请数据资源服务 ;

b) 支持多种数据共享开放模式 ,包括 API 接口调用、数据库同步、文件传输等 ;

c) 支持加密传输、数据脱敏、访问控制等技术 ,并支持数据共享日志审计。

6 . 5 数据治理

数据治理功能满足以下要求 :

a) 应支持建立统一的数据标准 ,包括数据命名规范、数据定义规范、数据格式规范、数据编码规范、数据管理流程等 ;

b) 应支持数据质量管理 ,对数据规范性、完整性、唯一性、一致性、及时性及准确性等方面进行监控;

c) 应提供数据安全分类分级管理功能 ,符合 JT/T 1522 的规定 ,支持数据生命周期的数据安全管控 ;

3

d) 应支持数据资源分层、分域管理模式 ,按照船舶数据、港口数据、航道数据、航运物流数据、船员数据、水文气象数据、航运监管数据、航运市场数据等分类形成统一的数据目录 ;

e) 宜提供统一的元数据管理功能 ,实现业务元数据、技术元数据和管理元数据的管理和维护 ,并提供元数据的版本管理和变更记录功能。

6 . 6 平台运维

平台运维功能应满足 GB/T 38673 的要求 ,还应支持对 AIS、VTS 等实时性要求强的数据交换通道进行状态监控 ,支持故障感知并生成告警信息。

7 性能要求

7 . 1 高可用性

高可用性应满足 GB/T 38673 的要求 ,还应满足下列要求 :

a) 采用分布式架构部署 ,节点之间的网络延迟不超过 50 ms ,确保平台整体可用性达到 99 . 9% ;

b) 支持系统与数据库平滑切换 ,保障数据零丢失 ,系统切换过程中产生告警或事件在 1 min 内及时自动上报 ;

c) 具备负载均衡能力 ,能够自动将计算和存储任务均匀分配到各个节点上。

7 . 2 可扩展性

可扩展性应满足 GB/T 38673 的要求 ,还满足下列要求 :

a) 应支持通过增加节点数量来提升系统的处理能力 ;

b) 应支持计算节点在线收缩 ,且不影响服务的性能 ;

c) 宜支持根据业务需求自动或手动快速调整系统的规模和能力。

4

参考 文献

[ 1 ] GB/T 36073 数据管理能力成熟度评估模型