李振、许一骏 | 大模型技术在金融行业的应用及安全治理初探
近年来随着ChatGPT的横空出世，大型语言模型（以下简称“大模型”）引发了各界的广泛关注，大模型正加速引领新一轮科技创新浪潮，赋能千行百业。目前，金融行业正在广泛探索利用大模型技术提升金融服务实体经济效率、降低金融运营成本、强化金融风控能力的实践路径，大模型有望成为引领未来金融变革、推动金融供给侧结构性改革的新质生产力。大模型在助力金融提质增效、驱动金融创新发展的同时，其安全风险也日益凸显。统筹好发展与安全，做好安全治理，是实现大模型赋能金融高质量发展、支撑做好金融“五篇大文章”、助力金融强国建设的重要保障。
金融从业者只需向大模型提供相关提示词便可以快速生成相关内容，而后进行适当人工调整即可短时间生成高质量成果，在帮助金融从业者生成文档报告、开展数据分析、软件代码开发等方面，大模型的应用极大地提升了传统工作效率，在处理同等业务量或开展同类型金融服务时，大模型的应用能有效降低相关人工成本、运营成本和开发成本，实现金融机构经营效率的持续提升。
相较于传统人工智能技术，大模型通过快速处理大量金融业务数据和用户相关数据，在内容理解、意图分析、偏好了解方面得到了进一步加强，助力金融机构更全面细致理解用户个性化和模糊化需求，提供更精准的客户画像、风险评估和投资建议，能够实现更满足客户需求的个性化推荐及定制化服务；
与此同时，大模型也推动了线上客服的智能升级，通过实现多轮对话贯穿理解，复杂逻辑思维推理，使线上应答更加精准有效，通过实现基于情感的多维表达和即时自我修正及时调整应答策略，有效增强服务温度，显著提升客户满意度。
金融机构高度关注风险问题，大模型的应用，一是可以利用其对海量多维数据的高效处理能力辅助从业者提高数据处理效率和结果分析精准度，避免因人为失误或错误导致的结果误判、数量偏差等风险问题；
二是通过大模型对金融监管知识以及反面案例的学习，构建合规操作知识库，能有效分析识别内部人员违规行为，提升内部合规管理水平；
三是通过大模型对风控策略、风险案例、业务数据的学习，可以实现对风控模型的不断优化，持续提升对外业务风险防控能力；
四是利用大模型对新闻舆情、研究报告、行情信息、财务报表等海量信息和数据的分析，可以辅助金融从业人员进行风险评估，帮助从业人员及时调整投资策略，做到风险早识别、早预警、早处置。
金融行业对大模型技术应用的广泛探索，来源于对大模型智能生成和涌现创新能力驱动业务创新业态重塑、实现未来颠覆性应用的密切关注和前瞻布局研究。
在推动产品服务创新方面，一方面，大模型可以对相关业务分析结果进行评价并提出改进或新产品设计建议；
另一方面，大模型可以辅助监管沙盒建设，模拟验证创新产品服务的合规性可行性，实现金融业务创新，把握未来发展主动权。
大模型是一种具有强大文本理解能力和生成能力的人工智能技术，通过接收用户提供的提示词来生成相关的回答。一般来说，提示词通过描述需求或问题能更准确高效地引导大模型生成相关内容，但由于大模型生成文本时依赖对自然语言的识别和处理，而在自然语言中系统指令和用户输入提示词往往混合在一起，缺乏清晰的界限，由于存在这种模糊性，攻击者可以通过输入有害的提示给大模型，使其误以为是系统指令，从而执行未经授权的操作，例如忽略先前的指令和内容审核准则；暴露底层数据或生成通常被提供商禁止的内容，如不适当、有偏见或有害的输出，从而影响大模型的可信性与可靠性。
在金融行业大模型遭遇攻击引发的恶意应用可能会生成不符合中国金融伦理和价值观的内容，从而导致金融机构对客服务的舆论危机和对行业监管的负面影响。
幻觉问题主要是指大模型在回答问题的相关性、保持上下文语境的一致性以及与给出内容的真实性方面存在的错误。例如，大模型可能存在答非所问、前后矛盾、肆意杜撰等现象。该问题的背后存在多种原因，一方面可能因为训练时数据的错误导致了模型的缺陷；另一方面有偏差的对齐数据可能使模型偏向于同意用户的观点而非客观事实。
此外，模型会在缺乏知识的情况下仍给出确定性成果，即使在输出错误信息时也会续写错误而非实现自我纠正。金融行业是强监管行业，金融服务需满足合规要求，服务对象对于生成内容的错误或谬误是无法容忍的，此外金融行业专业化程度较高，专业数据和训练模型的专业人士可能存在不足，模型理解专业知识难度大，增加了解决大模型金融应用幻觉问题的难度。
随着大模型在金融行业的广泛应用，不同机构和个人会将越来越多的信息输入大模型进行处理，其中不乏大量敏感的个人信息和资产信息等，一方面在用户传输数据过程中，若存在未加密或者传输通道存在漏洞的情况，可能导致信息泄露；
另一方面在模型处理数据及存储数据过程中，若存在未加密或被攻击的情况，也可能导致信息泄露，敏感的个人信息和资产信息的过度使用及泄露可能会成为金融犯罪的导火索，引发诈骗等危及人身财产安全的相关风险。
基础安全风险主要是指承载大模型应用的相关环境风险、大模型应用的组件风险、开源代码安全和供应链安全等。
环境风险方面，承载金融大模型应用的网络可能存在被攻击导致系统瘫痪或信息泄露相关风险；承载金融大模型应用的虚拟机可能面临来自同一宿主机的其他恶意用户的攻击。
组件风险方面，金融大模型应用一般包含多个子应用组件，例如Web中间件、数据库等，这些组件本身可能存在漏洞或配置不当等安全风险，容易被攻击者利用。
部分金融大模型因引入相关开源代码，其代码的安全性问题也应引起重视，如近期被爆出的知名压缩软件xz因其引用的核心开源组件liblzma中被精心植入了恶意后门险些导致巨大安全事件。
此外，支撑金融大模型应用的相关软硬件供应链安全也应引起重视，避免关键技术和产品因断供停服导致应用中断的情况。
当前，我国陆续出台了《中华人民共和国网络安全法》《中华人民共和国数据安全法》《中华人民共和国个人信息保护法》等法律为大模型所涉及的处理个人信息、数据安全、网络监管等提供基本原则和理论基础，此外，面向人工智能大模型开展安全评估及算法备案等实施管理还专门出台了《互联网信息服务深度合成管理规定》《生成式人工智能服务管理办法》等政策文件。
相关方需高度关注并积极主动落实已有法律法规的有关要求，避免因大模型应用而造成的用户敏感信息隐私泄露、侵犯知识产权以及违背伦理等风险。同时由于技术的快速发展，目前还存在管控治理体系部分缺失的情况，还应加快完善大模型相关法律监管体系，为统筹大模型安全与发展提供细化的法律实践，制定金融行业大模型监管标准，推动各方共建大模型治理体系，确保大模型的应用和发展符合伦理道德和社会价值观，为世界大模型治理贡献中国之治。
一是面向大模型易被操纵或误导的脆弱性开展持续研究，提升模型及相关软件的鲁棒性。例如针对提示注入开展模型训练，健全防御机制识别并过滤恶意提示词及相关敏感信息内容审核，强化用户行为分析预测防范恶意行为等。
二是面向大模型的幻觉问题设计高效经济灵活的解决方案。如基于做好训练数据治理提升数据质量、训练阶段设计不同解码策略、引入外部知识库及使用增强反馈学习等方案持续优化。
三是完善大模型隐私保护技术积极应对隐私安全挑战。例如积极应用密码技术，将可信执行环境、安全多方计算等方案应用于大模型数据处理过程中，并不断提升相关技术的可扩展性和实用性。
四是加强供需两侧协同攻关降低模型系统供应链风险。以应用牵引重点聚焦高端算力芯片、关键基础软件、核心组件等开展自主技术攻关和应用适配，形成自主产业生态提升产业链供应链韧性和安全水平。
一是完善组织机制明晰权责分工，针对大模型应用涉及的相关内外部人员进行职责梳理，明确管理架构和工作流程，形成工作台账明确各方权责。
二是出台相关内部规章制度，指导员工安全合规使用大模型、做好大模型相关资产的管理以及大模型相关安全事件的应急处置等。
三是强化数据应用管理，建立关于数据分类和使用限制的数据管理策略，记录并规范大模型使用过程中所涉及数据的来源，在数据输入、存储、使用等处理过程中可考虑引入第三方系统进行数据安全合规性的监控和审计。
四是做好内部审查防范因大模型应用带来的安全合规风险，审查AI应用时的用户许可协议规避可能存在的抄袭及知识产权风险，审查人工智能系统造成的潜在伤害和财产损失的责任，检查AI大模型工具或供应链中的安全漏洞，审查并确保大模型在未经适当同意或授权的情况下不会收集或共享敏感信息。
一是探索建立共建共享机制，汇聚生态合力，聚焦大模型应用可能面临的漏洞、威胁信息等实现信息共享，建设金融行业高质量训练数据集并实现数据开放共享，从源头提升模型可靠性。
二是不断丰富金融大模型相关安全标准体系，面向数据语料安全、内容安全、安全评估等研制相关金融标准，探索形成大模型安全评估方法，保障安全合规应用。
三是开展安全培训宣贯，提升大模型应用提供者和使用者的安全合规意识，促进金融用户对于大模型潜在风险的有效识别。
作者：北京国家金融科技认证中心副总经理 李振；国家工业信息安全发展研究中心 许一骏
来源：当金（bankershr）
首页标题
ꄲ
产业动态
ꄲ
李振、许一骏 | 大模型技术在金融行业的应用及安全治理初探
