资源简介
ICS 35.020 CCS L70
团体 标准
T/TAF 351—2026
基于生成式人工智能的代码生成产品和服
务质量技术要求
Technical requirements for the quality of code generation products and
services based on generative artificial intelligence
2026-06-17 发布 2026-06-17 实施
电信终端产业协会发布
目次
前言 II
引言 III
1 范围 1
2 规范性引用文件 1
3 术语和定义 1
4 缩略语 1
5 基础功能 1
6 准确性 2
7 兼容性 2
8 性能 2
9 用户体验 2
10 可维护性 2
11 代码安全管理 2
11.1 内容安全 2
11.2 数据安全 3
11.3 技术服务安全 3
参考文献 4
I
前言
本文件按照GB/T 1.1—2020《标准化工作导则第1部分:标准化文件的结构和起草规则》的规定
起草。
请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。
本文件由电信终端产业协会(TAF)提出并归口。
本文件起草单位:中国信息通信研究院、百度在线网络技术(北京)有限公司、北京快手科技有限公司、高通无线通信技术(中国)有限公司、荣耀终端股份有限公司、联想(北京)有限公司、OPPO广东移动通信有限公司、深圳信息通信研究院、深圳依时货拉拉科技有限公司、蚂蚁科技集团股份有限公司。
本文件主要起草人:汪海、武林娜、陈鑫爱、李可心、邓佑军、王淞鹤、桑明臣、王炎、郭建领、谷晨、落红卫、王江胜、李辰淑、赵晓娜、李欣、李根、李腾、苏章凯、瞿菲、白雷、张洪龙、林冠辰。
II
引言
生成式人工智能技术在代码生成领域的应用逐渐增多,为软件开发、图像处理、音视频应用等领域提供了新的可能性。在此背景下,如何合理利用此类技术,确保相关产品与服务的质量可控性,成为值得探讨的问题。本标准尝试为基于生成式人工智能的代码生成产品与服务提供技术参考,旨在促进技术应用的规范化,并为后续可能的政策制定与行业实践提供一定的借鉴。希望本标准的探索能够为相关领域的健康发展提供支持。
III
基于生成式人工智能的代码生成产品和服务质量技术要求
1 范围
本文件规定了基于生成式人工智能技术提供的代码生成产品和服务质量要求。包括基础功能、准确性、兼容性、性能、用户体验、可维护性、代码安全管理等部分。
本文件适用于面向个人用户提供基于生成式人工智能代码生成产品和服务的服务提供方,也适用于主管部门、第三方评估机构等组织对基于生成式人工智能的代码生成产品和服务质量评估要求进行监督、管理和评估。
2 规范性引用文件
本文件没有规范性引用文件。
3 术语和定义
下列术语和定义适用于本文件。
3.1
代码生成技术 code generation technology
通过代码大模型工具基于提示词来自动生成源代码或程序的技术。
3.2
训练数据 training data
用于训练机器学习模型的输入数据样本子集。
4 缩略语
下列缩略语适用于本文件。
API:应用程序编程接口(Application Programming Interface)
GPU:图形处理器(Graphics processing unit)
5 基础功能
基于生成式人工智能的代码生成产品和服务基础功能具体包括:
a) 应根据自然语言或代码的输入,自动生成满足指定功能需求的代码;
b) 应对输入的代码通过生成自然语言对其进行解释,包括其功能和工作原理;
c) 应能根据已有代码的输入,自动补全缺失的代码;
d) 应提供问题理解和答案生成能力,快速准确地回答用户关于代码的问题;
e) 宜支持跨编程语言的代码转换功能,在确保原有逻辑完整性的前提下,实现不同语言间的准确翻译;
1
f) 宜具备源代码规范性、准确性与安全性的自动化检查能力,可识别潜在问题并提供修复建议,支持代码优化。相关修改生成记录,标注变更内容及原因。
6 准确性
基于生成式人工智能的代码生成产品和服务的准确性,应满足以下要求,具体包括:
a) 防止因过度拟合训练数据,导致模型推理准确性下降;
b) 具有面对输入数据的噪声、对抗性攻击时,保持其推理性能和准确性的能力;
c) 定期评估服务的准确性,做误差分析,持续提升准确性。
7 兼容性
基于生成式人工智能的代码生成技术服务的兼容性,应支持多种编程语言的输入和输出,包括但不限于Python、Java、C、C++等,宜兼容主流运行环境和开发框架。
8 性能
基于生成式人工智能的代码生成技术服务的性能,应满足以下要求,具体包括:
a) 快速响应用户请求,提供高效的交互体验;
b) 系统在不同环境及长期运行中保持高稳定性,避免频繁故障;
c) 应具备高效处理大规模并发请求的能力。
9 用户体验
基于生成式人工智能的代码生成产品和服务的用户体验,应满足以下要求,具体包括:
a) 界面设计简洁、直观,布局合理,操作便捷,提升用户的操作体验和满意度;
b) 具备简便易用的特点,用户能快速上手并高效操作;
c) 保留可追溯记录,如模型版本、用户操作记录等;
d) 提供技术文档支持,帮助用户解决使用中的问题;
e) 收集使用者输入信息用于训练时,通过显著方式告知使用者,并为使用者提供关闭其输入信息用于训练的方式。
10 可维护性
基于生成式人工智能的代码生成产品和服务的可维护性,应满足以下要求,具体包括:
a) 明确运维人员职责、部署过程、测试步骤、回滚机制等,确保服务过程的正确性;
b) 具备对服务器、网络、存储等基础设施的管理和维护;
c) 建立监控诊断、日志记录、异常处理、故障恢复、高可用保障等机制;
d) 建立持续改进机制,将用户反馈和数据分析结果应用于服务的不断优化。
11 代码安全管理
11.1 内容安全
2
基于生成式人工智能的代码生成产品和服务的内容安全,应满足以下要求,具体包括:
a) 具备训练数据来源管理政策,拥有训练数据相关授权文件或采集记录,确保使用的训练数据来自可信赖的来源;
b) 建立恶意输入甄别机制,对用户输入的内容进行检测;
c) 对服务的输出内容进行内容风险分析,排查社会歧视、政治敏感、恶意代码等风险内容,提升模型输出内容的安全性、可靠性及合法性。
11.2 数据安全
基于生成式人工智能的代码生成产品和服务的数据安全,应满足以下要求,具体包括:
a) 涉及用户认证信息、用户输入数据及其他敏感数据时应采用安全的加密通信协议,例如使用SSL/TLS 等加密协议来保护数据的机密性和完整性;
b) 数据存储过程中应采用数据加密方法,例如对敏感数据进行加密存储,并确保密钥的安全管理;
c) 建立数据安全事件应急响应机制,对数据安全事件进行及时响应和处理;
d) 宜对数据的分类分级进行审核并及时调整。
11.3 技术服务安全
基于生成式人工智能的代码生成产品和服务的技术服务安全,应满足以下要求,具体包括:
a) 定期检查已知的安全漏洞,并及时修复;
b) 持续更新训练数据和模型以避免安全风险;
c) 具备用户输入异常处理和审查机制,对技术服务的输入内容进行检测;在发现由输入异常导致代码大模型发生错误、生成安全缺陷代码的风险时,及时告警并采取相应的处置措施;
d) 具备抗对抗攻击机制,防范提示词攻击、指令攻击等对抗攻击;
e) 具备抗网络攻击机制,防范DDoS攻击、SQL注入攻击等网络攻击手段。
3
参考 文献
[1] GB/T 25069—2022 信息安全技术术语
[2] GB/T 41867—2022 信息技术人工智能术语

评论