8月28日，在2025上海网络安全产业创新大会上，上海人工智能安全工作委员会揭牌成立，旨在推动“AI+安全”技术协同与治理创新，应对深度伪造、数据投毒等新型威胁，重塑产业防御范式。
证券时报记者获悉，上海人工智能安全工作委员会在上海市经信委的指导下，由上海市人工智能行业协会设立，委员会代表包括上海仪电集团、商汤科技、稀宇极智、阶跃星辰、斗象科技、上海观安等多家企业。
上海观安联合创始人、CTO胡绍勇接受证券时报记者采访时表示，AI技术在对生产力提质增效同时，也涌现了模型窃取、数据投毒等新型威胁，传统的安全防护思路已难以应对，建议从体系化和结构性的思路来防范人工智能技术风险。
“以大模型为例，在其生命周期的每个关键节点都应做好安全防护。比如，训练阶段，应对数据源进行验证以及对训练数据进行安全检测，以保证训练数据的可靠；开发阶段，保障软件供应链的安全，保证编码中没有安全性漏洞；测试和发布前，要做好大模型的安全检测，包括社会伦理问题；上线时要有安全运营的措施。”胡绍勇说。
在胡绍勇看来，设立人工智能安全工作委员会，可针对大模型各个维度的安全风险进行集思广益，联合产业链上下游共同推出相应标准、指南等，共同防范风险。
上海市经信委总工程师裘薇指出，上海网络安全产业规模较“十四五”初已实现倍增。面向未来，上海将重点推动“‘安全+AI’双向融合”，布局智能机器人、低空经济等新兴领域安全产业，并以普陀网络安全产业示范园为核心，进一步提升发展能级，建设面向长三角乃至全国的网络安全产业承载区；联动徐汇“模速空间”、浦东张江等载体，构建全市协同发展格局，持续打造头部网安企业标杆，面向AI安全、车联网安全、软件供应链安全等新兴领域培育“小而精”网安主体；建设一批安全能力平台，牵引产品迭代和服务升级，提升重点领域安全防护能力，以合规促发展。
上海普陀区副区长周如意表示，作为上海市唯一的市级网络安全产业示范区，普陀已形成“政策、平台、技术、生态”四位一体发展格局。通过共建“国家安全与应急管理研究院”等举措，全区集聚网安企业近百家，2024年产业营收突破70亿元。未来，普陀将深度融入沿沪宁产业创新带国家战略，打造区域网络安全“引力场”。
大会上，《2024年度上海市网络安全产业创新攻关成果目录》正式发布，涵盖AI安全、量子安全等14个方向的20项创新成果。
