每周，“合规周报”会盘点最近一周国外人工智能、科技竞争、个人信息保护上值得关注的动态。
本周，我们重点关注直播电商新规征求意见；京沪网信办通报整治AI技术滥用成效。
海外方面，微软发布AI Agent故障白皮书；美法院向OpenAI签发数据保存命令；维基百科测试AI摘要功能，遭众编辑反对而暂停。
平台治理
直播电商新规征求意见
6月10日，市场监管总局发布《直播电商监督管理办法（征求意见稿）》（以下简称《办法》），直播电商生态中既有阿里、京东、拼多多传统电商平台，也有微信、小红书等社交平台，以及抖音、快手等短视频平台，电商属性与社交、内容属性交叉，平台认定存在难点；此外，主播、MCN机构、商家等参与主体更加复杂，交易链条更长，外溢风险增加。
《办法》《办法》明确了划入规范的平台属性：直播电商平台经营者是指在直播电商活动中提供网络经营场所、交易撮合、信息发布、商品浏览、订单生成、在线支付等服务，供交易双方或者多方独立开展交易的法人或者非法人组织。细化了平台经营者的法定责任，包括资质核验与信息报送义务；建立直播营销人员真实身份动态核验机制；建立黑名单制度，并共享“黑名单”主体信息。对于主播、机构等直播间运营者，也要进行信息发布审核、信息公示，商品价格规则要透明。
京沪网信办通报整治AI技术滥用成效
4月30日，中央网信办开展“清朗·整治AI技术滥用”专项行动。近日，北京网信办与上海网信办公布了最新进展：京东新增100个AI特征敏感词，拦截违规内容；昆仑万维、零一万物等企业完善训练语料清洗机制，防范虚假信息、违规内容传播等。微博清理传播教授AI换脸教程类内容162条，关闭账号22个，清理分享售卖违规AI产品类有害信息234条，关闭账号52个；抖音清理AI生成的虚假信息、低俗内容等24749条等。百度对存量数据进行整体清洗，使用211个权威网站的正能量数据源；百川停止使用存在疑问的数据来源，制定严格的网络爬取规范，确保数据合规合法。强化敏感内容过滤，360、深言科技等企业优化语义识别模型，提高涉政、涉黄内容拦截准确率等。智谱明确禁止生成具体股票推荐、基金购买建议，避免诱导高风险投资；快手对医疗回答明确标注“不替代专业医疗建议”。猿力科技对未成年人提问进行分级审核，仅允许教育类内容生成；小米通过实名认证和年龄校验，限制未成年人使用AI生成暴力内容等敏感功能。目前已有近60家企业已落实标识要求，微博、抖音等平台实现生成内容“显著标识+元数据水印”双标注。攻防技术升级，百度、字节跳动等企业建立“红蓝对抗”机制，模拟攻击案例，修复潜在安全漏洞，优化模型对虚假信息的识别能力等。
上海市委网信办指导小红书、哔哩哔哩、拼多多等15家重点网站平台，集中清理“一键脱衣”、未经授权的人脸或人声克隆编辑、未备案等违规AI产品、商品及相关营销、炒作、推广、教程信息。
美团针对骑手、商家和用户三方痛点提出改进建议
近日，美团在北京举办算法顾问委员会首场研讨会，旨在推动算法透明化建设，聚焦骑手权益保障与行业可持续发展。2024年以来，美团已推出八项算法改进举措。推动算法“反内卷”，需要权衡多方利益、考虑多种变量。比如履约服务过程中的不确定性，骑手收入，配送安全，合理的劳动强度等，这也是美团持续开展各方恳谈交流会，寻求稳步改进的原因。研讨会上，针对骑手、商家和用户三方痛点，委员会成员们提出建议，并提出给女性骑手“多一份安全保障”。
海外动态
微软发布AI Agent故障白皮书，万字解读各种恶意智能体
6月7日，微软发布了《AI Agent系统故障模式分类》白皮书，以帮助开发者和用户更好的理解、解决日常Agent出现的各种故障。这些故障主要分为新型故障和既有故障两大类，并详细解读了出现这些故障的原因以及如何解决。包括有新型Agent安全故障，比如：智能体伪装、智能体配置中毒、智能体妥协、智能体注入、智能体流程操纵、多智能体越界等。还有既有Agent安全故障，比如：智能体内在安全问题、多用户场景中的分配危害、优先级导致用户安全问题、透明度和问责制不足、组织知识损失、目标知识库中毒、跨域提示注入、人机交互循环绕过等。最后提出了安全Agent设计建议，包括：身份管理、内存强化、控制流控制、环境隔离、日志记录与监控等。
美法院向OpenAI签发数据保存命令，OpenAI称该命令将侵犯全球数亿人的隐私
6月9日，据媒体报道，OpenAI向纽约联邦法院提交文件《依据〈联邦民事诉讼规则〉第72(a)条就跨区诉讼ECF 33号保存令提出异议的法律备忘录》，要求撤销治安法官Ona T. Wang此前签发的数据保存命令（保存并隔离所有输出日志数据）。该公司称该“范围广泛、前所未有”的命令威胁数亿用户隐私权，强制剥夺用户对ChatGPT对话数据的控制权。OpenAI请求地区法官Sidney H. Stein否决Wang法官的裁决。
维基百科测试AI摘要功能，遭众编辑反对而暂停
当地时间6月11日消息，维基百科的运营机构维基媒体基金会（Wikimedia Foundation）宣布暂停一项使用人工智能技术生成文章摘要的测试。原因是大量编辑对此举表示强烈反对，他们普遍认为使用AI生成内容将导致维基百科信息质量下降，进而破坏网站信誉。测试版本中，AI生成的摘要将显示在文章顶部，用户必须单击才能展开并阅读，摘要上方有黄色标签“未经验证”，提示用户内容系AI自动生成。众多编辑指出，机器生成的内容不应该优先于人工审查的材料，AI技术的引入会破坏该网站的协同创作模式。虽然人类编辑可能会犯错，但通过平台的协同创作模式通常能实现平衡；在没有适当社区监督的情况下，人工智能摘要引入不准确或偏见的可能性更大。
首个AI Agent零点击漏洞曝光：一封邮件窃取企业AI任意敏感数据
6月12日消息，微软365 Copilot是集成在Word、Excel、Outlook、PowerPoint和Teams等Office办公应用中的AI工具。研究人员日前发现，该工具存在一个严重安全漏洞，揭示了AI代理被入侵可能带来的更广泛风险。AI安全初创公司Aim Security发现并披露了这一漏洞，据称这是已知首个针对AI代理的“零点击”攻击案例。只需发送一封看似无害但暗藏定制化指令的电子邮件，当Copilot后台扫描邮件时会执行该指令，遵从要求访问AI访问权限内的敏感数据，并悄悄对外渗出。该漏洞暴露了AI Agents的根本缺陷，指令和数据未做分离。研究人员建议可以重新设计系统增强模型区分指令和数据的能力，或者在应用层引入强制安全机制。
动画行业发布AI紧急宣言，划出知情、补偿、控制三条底线
6月9日，据媒体报道，在有“动画界奥斯卡”之称的安纳西国际动画电影节召开之际，多家工会机构联合发表了一份紧急声明《动画行业陷入危机：面对AI的使用，各国工会宣布进入紧急状态》，面向监管者和行业管理层提出“知情、补偿、控制”，三项明确的主张。签署的25家组织主要为欧美大型行业工会，包括西班牙视频游戏工会、法国动画和视觉特效工会，美国、比利时、荷兰、爱尔兰等国动画工会。与此同时，法律体系尚未就“AI训练是否构成侵权”这一关键问题给出清晰判定。就在上周，全球最大的图片版权商Getty Images 在英国高等法院起诉 Stability AI，指控其未经许可，使用数百万张照片来训练其文生图大模型。
