参考消息2024年10月12日发布:如何监测通用大模型的安全水位？多位专家支招

杨珉指出，ChatGPT等通用大模型正成为大家日常生活中频繁使用的工具，并逐步向具身智能体进化，在可预见的将来会出现AI社会，很多人工智能体会互相影响、协同工作。这种技术演变的趋势背后，大模型生成内容的安全风险会逐渐外溢，进而形成物理世界的风险，如何动态、持续地监测通用大模型的安全水位，是学界、企业界、政府部门必须共同面对的重大挑战。

“当前的安全技术远远滞后于的AI技术发展的整体速度。”杨珉表示，其中一个技术是基于个人的技巧发现安全问题，即诱导问题，它的特点是自动化程度低、成本高昂。杨珉及团队一直深耕于此，希望寻找到一个通用的普适性的测试集，客观地检视当前大模型的安全合规能力。目前部分技术已在百度、阿里、华为落地应用。

此外，杨珉团队还利用语言学中“转换生成语法”的原理，建设了评测自动化、测试覆盖率高和风险发现能力强的测评平台。基于此，杨珉带领团队在今年6月发布第一代测试集，测试的维度包含了歧视性内容、商业违法违规、侵犯他人权益以及内容不准确不科学等31个子类。

杨珉表示，未来将持续公布这种动态的测评结果，呈现产业之间在能力上的差异性，希望能助力整个行业生态的健康发展。

上海人工智能实验室综合管理部、AI治理负责人王迎春总结指出，大模型的安全问题包括国家安全、行业安全、社会安全以及人工智能可控性等极端风险。应对路径一是治理政策和规则，二是测评等技术路径。

《人工智能安全治理框架》1.0版指出，人工智能系统设计、研发、训练、测试、部署、使用、维护等生命周期各环节都面临安全风险，既面临自身技术缺陷、不足带来的风险，也面临不当使用、滥用甚至恶意利用带来的安全风险。

例如，以深度学习为代表的人工智能算法内部运行逻辑复杂，推理过程属黑灰盒模式，可能导致输出结果难以预测和确切归因，如有异常难以快速修正和溯源追责。

王迎春指出，随着模型能力的提升，执行的任务更加复杂，对其的监督能力已非人力能及，需要开发出更多新的技术，将监督信号设计到模型当中，其中就包括上述自动化红队测试等。

他预言，下一代的大模型发展应该是数字和物理融合的模型，会带来新的安全风险问题，需要提前进行技术储备，甚至在研发模型当中就要做技术的研究。王迎春认为，国内对于大模型安全的应对比较零散，不体系化，政府要构建人工智能安全技术体系图，有助于有关部门包括企业布局相应技术研究，例如模型评测技术、模型内生安全技术等。

事实上，针对模型算法安全、数据安全和系统安全等内生安全风险和网络域、现实域、认知域、伦理域等应用安全风险，刚刚发布的《人工智能安全治理框架》1.0版提出相应技术应对和综合防治措施，以及人工智能安全开发应用指引，为促进人工智能健康发展和规范应用，提供了基础性、框架性技术指南。

针对模型算法、训练数据、算力设施、产品服务、应用场景，上述框架提出通过安全软件开发、数据质量提升、安全建设运维、测评监测加固等技术手段提升人工智能产品及应用的安全性、公平性、可靠性、鲁棒性人工智能安全治理框架的措施。

【澳门码今晚开什么特马精准】【管家婆正版内部精选大全】

【澳门2024正版资料免费公开】 【澳门4499资料大全】

【7777788888管家婆凤凰】 【打开澳门免费资料大全马家婆】

【2024澳门正版资料兔费大全】 【正版资料大全免费】

【香港资料大全+正版资料2024年】 【管家婆怎么买经典版】

【新澳2024精准一肖一码】 【澳门一肖一码精准100王中王】【天下彩天空彩】

点赞数: 0