模型大型，模型大厂

科技云报道原创。

“to be or not to”的问题，其实在AI大模型中就出现过。

争议伴随着大模型的惊人能力，争议的核心问题在于安全性。安全有两个方面，一个是大模型带来的人类伦理的思考，一个是大模型本身带来的隐私泄露和数据安全。

埃隆·马斯克(Elon musk)应该是质疑大模式的企业家之一。早在ChatGPT诞生之初，马斯克就和超过1000名业界和学术界人士联名发表公开信，呼吁所有AI实验室立即暂停训练比GPT-4更强大的AI系统至少6个月。

时至今日，马斯克仍然表达了人工智能是一把双刃剑的态度，对于人工智能的监管已经有了强烈的共识，某种形式的监管机构可能会出现。

围绕AI大模型的安全性，国内很多专家学者和企业家也有了更多的思考和声音。9月初，中科院院士何继峰曾表示，目前大模型面临的安全问题涵盖两个方面，即隐私保护和价值对齐。

另一方面，随着AI大模型在行业内的广泛应用，合规和数据保护需求急剧上升。继“云、大、物、移动”四大网络安全场景之后，大模式正逐渐成为新的市场增长点。

许多企业开始从大模型安全的角度推出产品，在AI安全、数据安全等新兴安全领域掀起了一阵热潮。

大模型的“阴暗面”安全问题不容忽视。

到现在，大模型有阴阳两面，完全泾渭分明。很多人已经感受到了大模型的“积极面”，很多人应该已经开始尝试把它作为提高工作效率的工具。

但是大模型的“阴暗面”，关于安全性的讨论是不绝于耳的。最典型的安全案例，三星机密数据泄露事件，至今记忆犹新。

如上所述，中科院院士何继峰指出，目前大模型面临的安全问题主要涵盖两个方面，即隐私保护和价值对齐。

隐私保护的问题是大模特会不会未经许可收集、使用、泄露个人信息。

价值对齐的问题，就是把大模型的价值观和人类的价值观对齐。让大模型按照设计师的意愿行事，不做任何超出本意的事情。

在价值对齐方面，由于人类社会的价值观是多元化的，有用的人工智能和无害的人工智能经常发生冲突，所以大模型的价值观对齐是非常困难的。

具体来说，大模型包含了数据、算法模型、应用层等很多关键要素，每个要素都有很多需要面对的安全问题。

在数据层，安全问题主要集中在数据泄露和数据污染。以三星为例，实际上在数据层面存在一定的泄露风险。

数据可以说是一个大模型的骨架，为其提供基础支撑。

在机器学习和深度学习领域，数据获取、处理和利用的方式决定了模型的性能和精度。但是，数据层面的安全风险是不可避免的。

最常见的问题包括数据的非法泄露，这可能导致敏感信息的暴露；数据被恶意篡改，可能导致训练好的模型产生误导；还有就是非法获取或使用未经授权的数据，这不仅是非法的，还可能使模型偏离其最初的目的。

这些隐患可能会对模型的训练和应用产生负面影响，使其失去原有的效果，甚至产生误导。

与数据安全同等重要的是算法模型的安全性。

现代社会，大模型的训练往往需要巨大的计算能力，所以很多资源都集中在特定的数据中心。

这为潜在的攻击者提供了机会，他们可能会攻击这些数据中心，并试图改变模型的参数或整体结构。一旦成功，模型的输出可能完全不可控，导致不可预测的结果。

此外，还有一种更微妙的攻击——对抗性攻击。这种攻击的目的是使模型在某些特定的输入下产生错误的输出，这可能在医疗诊断、金融决策等一些关键领域带来严重的后果。

在应用层，安全隐患也非常严重。比如生成内容的危害性和准确性，滥用模型生成虚假信息等等。

如何防止部署的模型被恶意篡改？在模型的数据推断过程中，如何保证用户的隐私数据不会被非法获取或泄露？这些都是部署模型时必须考虑的问题。

之前有人试着问大模特“野生娃娃鱼的做法”，大模特给出了“红烧”的答案，并写下了具体步骤。这样很容易“误导”提问者。其实野生娃娃鱼属于国家二级保护动物，不能抓，不能杀，更不能吃。

为了应对这些隐患，可能需要一系列的安全措施，包括但不限于数据加密、模型的版本控制和运行环境的隔离。

人工智能大型模型安全问题的解决方案

大模型问题出现后，外界对于监管的呼声最为热烈。

随着新技术的快速发展，政府和各种监管机构已经成为保障AI模式安全运行的重要力量。他们可以通过制定和实施严格的数据隐私法规，为大型模型的安全使用提供法律保障。

今年4月，国家互联网信息办公室发布了《生成式人工智能服务管理办法(征求意见稿)》，旨在促进生成式人工智能的健康发展和规范应用。第七篇文章关注的是生成式人工智能服务提供商的数据源的合法性。

这也意味着国家开始着手处理火热的大模式带来的一系列安全问题。

7月，中国官微新闻报道，国家网信办会同国家发改委、教育部、科技部、工信部、公安部、广电总局发布了《生成式人工智能服务管理暂行办法》。

其中明确，生成式人工智能服务提供者应当依法开展预训练、优化训练等训练数据处理活动，使用具有合法来源的数据和基础模型；涉及知识产权的，不得侵犯他人依法享有的知识产权；涉及个人信息的，应当取得个人同意或者符合法律、行政法规规定的其他情形；采取有效措施提高培训数据质量，增强培训数据的真实性、准确性、客观性和多样性。

此外，明确了数据标注的相关要求。

在监管下，国内大模式也迎来了合理合法合规的发展期。最新消息是，目前国内已有11个大模型通过《生成式人工智能服务管理暂行办法》备案，并逐步向公众开放。

在监管下，技术本身也可以作用于大模型的安全性。AI守护AI，技术反哺技术。

“利器攻击利器”。AI技术本身不仅是可能的威胁，也是解决问题的关键。

对抗性训练就是一个很好的例子，它可以使模型在面对恶意输入时保持稳定，从而增强模型对各种对抗性攻击的防御能力。此外，还可以考虑利用AI技术实时监控模型的输出，及时发现并纠正模型的异常行为。

此外，许多安全公司提出通过可信计算、差分隐私、联邦学习等技术手段来保证数据隐私。

此前，清华大学人工智能研究院副院长、北智元人工智能研究院、睿来智慧首席科学家朱军在接受腾讯科技采访时提到，为了解决大模型的安全问题，从技术角度来说，可以用“ai识别AI”的形式来应对。

朱军说防守实际上比进攻更难。现在，我们正在积极寻求各种手段来增强模型的恢复能力，并在模型的应用和部署阶段实施多重保护策略。

比如在人脸识别系统中，我们设置了人脸识别安全屏障，可以在样本进入决策阶段之前，对具有潜在威胁或对抗性修改的样本进行筛选和淘汰，保证系统的安全性和稳定性。这项技术已经应用于银行和其他行业。

为了未雨绸缪，开发者和企业也必须在产品层面下大力气。严格的安全标准不只是一纸空文，应该深入到开发部署的每一个细节。

对于开发者和企业来说，数据的处理要严格遵循隐私保护的原则，确保每个用户的隐私信息得到妥善保管。此外，模型的开发和部署过程也需要严格审查，确保不会对用户和社会造成危害。

大规模模型安全问题掀起行业新潮流。

目前很多企业也已经开始关注大模型的安全性，甚至推出了很多相关的产品和解决方案。这也掀起了一股“安全潮”，逐渐蔓延到数据元、网络安全、隐私计算等相关行业。

最近可以明显看到，网络安全行业正在追赶这一挑战，不断出现大型模型和新的数据安全产品，以满足市场上新兴技术的安全需求。

今年的网络安全博览会成为各大厂商展示大规模安全解决方案的初始阶段。比如秦心推出了名为Q-GPT的安保机器人，还针对大模型数据泄露的隐患发布了“大模型守护者”；在发布其安全模型的同时，吕蒙科技还推出了基于隐私计算的“数据保险箱”。

此外，安恒信息、沈心、360集团、蚂蚁等公司也推出了自己的大模型产品，为企业提供了多种选择。这些新品的出现无疑证明了业界对大机型安全性的重视。

中国网络安全产业联盟数据显示，2022年中国网络安全产业规模达到近633亿元，预计未来三年增速将保持在10%以上。随着数据元市场的逐步建立，大模型等前沿技术的应用价值越来越大，新的安全需求也不断涌现。

隐私计算领域也是如此。

在2023世界人工智能大会上，多位专家学者提到，大模型时代的隐私计算迎来新机遇。目前隐私计算，包括可信执行环境TEE、多方安全计算MPC等等，都是结合大模型进行探索的。比如TEE部署在云端，用户在推理的时候把输入的数据加密传输到云端，在里面解密然后推理。

复旦大学教授、上海市数据科学重点实验室主任肖表示，传统的隐私计算，如差分隐私和联邦学习，大多工作在算法层面。

但算法的前提是保护对象明确，协作机制清晰。大模型时代是海量的参数化模型，不透明、无边界、不可解释，对以往基于可解释、清晰、可控的技术路线的隐私计算方法提出了全新的挑战。

华景产业研究院报告显示，随着中国互联网技术的发展，中国私有计算市场规模正逐年增长，预计2025年中国私有计算市场规模将达到192.2亿元。

大规模模型成为继“云、大、材、动”之后的新战场，被视为新的市场增量。

无论是为客户提供基于大模型的服务，提高交付效率和竞争力，还是通过大模型的应用提高企业的生产效率，大模型正在迅速进入企业IT，相应的大模型安全也成为攻防的重点。

随着各大公司在大模式安全方面的不断投入和创新，预计这个市场将带动整个网络安全行业达到一个新的高度。

标签

AI大模型的发展在带来巨大潜力的同时，也带来了巨大的安全挑战。为了充分发挥AI的潜力，确保安全，政府、企业和网络安全公司需要共同努力，采取综合措施来解决这些问题。只有这样，才能在AI时代迈出坚实的一步。

【关于科技云报告】

专注原创企业级内容专家——科技云报告。成立于2015年，是前沿企业IT领域Top10媒体。由工信部授权，可信云及全球云计算大会官方指定媒体之一。云计算、大数据、人工智能、区块链等领域的深度原创报道。