中国工程院院士邬江兴：90%以上主流大模型不可信！实用前景堪忧

fudashuai

　　新浪科技讯 5月20日下午消息，在2024搜狐科技年度论坛上，中国工程院院士、国家数字交换系统工程技术研究中心主任、复旦大学大数据研究院院长邬江兴指出，“AI内生安全个性问题是当前AI应用推广中的最大障碍，在不确定性中构建更安全的AI应用系统，是当前人类必须破解的安全难题。”

　　邬江兴认为，基于内生安全理论方法可以在应用系统层面破解AI内生安全个性化难题，理论研究认为内生安全构造可以一体化地解决个性化和共性化的问题。据他介绍，“他们团队对当前最流行的10种大模型进行安全分析发现，90%以上的主流大模型是不可信的，而采用内生安全构造的问题，相比单一安全具有显著优势，达到了几个数量级的提升。”

　　邬江兴指出，深度学习模型存在“三不可”基因缺陷。分别是：第一，不可解释性，从数据提供AI模型训练到知识规律，到获得应用推理阶段，工作原理到现在不明确，问题发现定位非常困难，AI系统中的安全问题比破解密码还要难。第二，不可判识性，因为AI对序列性强依赖，不具备对内容的判识能力，所以数据存在质量差异，来源差异，就可能导致训练出的结果有差异。第三，不可推论性，AI的推理是从已知数据中获得规律性，难以胜任对中长期未来事物变迁的预测和推理，只是把现有的东西归纳起来，看起来它聪明无比，但仅仅是比我看得多，并没有产生什么新的认知。

　　在邬江兴看来，AI的安全问题，是不能用AI完全解决的，因为这在数学上不成立。“据著名数学家哥德尔提出的‘不完备性定律’，一个具有初级数论的系统，它既不能证明自己为真，也不能证明自己为假，这就是现在AI的困境，它是一个哥德尔不完备系统。”因此，人工智能作为一种赋能技术，“我们绝对不能再走先发展再治理的路，它能诱发意识形态风险、社会伦理灾难、技术层面风险、训练语料库泄露、模型算法以及社会影响面用户隐私泄露等问题。”

　　那么，怎么解决这个问题呢？邬江兴提出了一种网络空间内生安全基本方法——动态异构冗余架构（DHR）。在邬江兴看来，基于这一内生安全架构的一体化增强AI应用系统，将具备四方面的安全能力：第一，它可以利用不同算法模型之间的差异，有效提升AI控制系统抗攻击能力；第二，对样本迁移性与算法网络结构存在强关联，模型多样异构化是必要的安全机制，以后的AI系统如果是由单一模型提供，那将不存在必要多样性；第三，针对同一应用目标，差异化的网络算法可构建多个具有特异性的深度学习模型；第四，模型不确定度估计方法能够为DHR架构动态调度算法提供最优的理论支撑。

　　“我们在去年南京举行的强网国际精英挑战赛上看到，全世界选手中只要不是必要多样性的AI系统，无一例外都是被按在地上摩擦的，很凄惨！非内生安全的AI应用系统正确识别性能普遍下降到不到10%，实用化前景令人堪忧。”邬江兴表示。