AI滥用“以假乱真”,我们如何避免“入坑”?

编者注释

随着人工智能(AI)技术的以假乱真不断进步与广泛应用,给人们的滥用工作与生活带来极大的便利的同时,生成图像、避免视频和音频等门槛逐渐降低。入坑由于这种便捷性,以假乱真利用AI进行“移花接木”以伪造虚假信息的滥用现象日益增多,在电商平台中尤其如此。避免一些商家通过仿冒名人进行直播带货或营销活动,入坑侵犯了其他人的以假乱真合法权益,并损害了消费者的滥用基本知情权与选择权。 期待法治能精准回应AI滥用问题,避免明确界定技术发展的入坑法律界限,让科技发展更顺畅地在法制轨道上服务于人类社会。以假乱真

近日,滥用女演员温峥嵘自述在网上刷到了假冒自己的避免直播间。此前曾有人发现她在多个直播间中出现过。在不同的直播时段内,她虽然穿着和妆容有所变化,展示的商品也不尽相同,但都在重复同样的话语内容。然而,在这些直播间中,都看不到温峥嵘本人出镜。有些甚至被证实是AI合成的虚假直播间影像。

随着AI技术的进步和普及应用,在为人们的生活工作带来了许多方便的同时,也不可避免地出现了一些个人或企业利用AI制造假视频以欺骗大众的现象。

专家建议,应明确规定人工智能生成内容的标注要求。同时,技术支持企业和电商平台等行业传播渠道应当负责识别并拦截违规内容,并对相关问题账户予以处理。此外,公众需增强对人工智能生成内容的认知与风险防范能力。

模仿的视频可能让消费者产生误解。

真的这么神奇吗?“这款痔疮凝胶,不用忌口,不用遭罪,是全网唯一没有差评的产品……”近日,《工人日报》记者在上海采访了赵女士,在她的视频中看到韩红和潘长江两位明星一问一答,正在推销某种痔疮产品。视频中还有其他女明星为该产品“站台”。

赵女士告诉记者,这段视频是今年8月她在母亲手机里某个短视频软件上拍摄的。她的母亲看到“连大牌明星都在推荐这款产品”,决定准备下单购买。赵女士及时阻止并表示,“这视频一看就是AI生成的,说话时表情和嘴巴都不自然”。

作为AI短剧创作者,谭靖向记者透露,赵女士的母亲看到的明星推销视频实际上是通过数字人技术制作的。“只要有明星的一张照片,就能使人物栩栩如生,哪怕是一张截图也行。只要那位明星在某个场合说过一句话,声音也能被克隆。”

今年6月,北京市海淀区市场监管局查处了一家利用人工智能技术假冒央视知名主持人名义和形象发布虚假广告的公司。8月份,有媒体曝光,在某社交平台上,有一位博主通过AI技术模仿奥运冠军全红婵的声音推销土鸡蛋,有的视频甚至获得了高达1.1万点赞数。另外,奥运冠军孙颖莎和王楚钦也受到了类似的仿冒行为影响。

通过以假乱真的画面和声音,并借助名人效应,一些制作虚假视频的营销博主获得了大量的订单。记者在某短视频平台上注意到,赵女士母亲刷到了一则“明星推销痔疮产品”的视频,尽管这条视频已经被下架了,但显示该产品的销量已接近6000件。有报道指出,在另一则标题为“全红婵带货土鸡蛋”的视频评论区中,大量粉丝误以为这是一场由运动员本人代言的活动,并纷纷下单购买,结果显示该商品已被售出了4.7万件。

一些消费者注意到,“双十一”临近时,购物平台上AI生成的商品展示增多,涉及各种玩偶挂件、衣服以及家具,甚至包括试衣模特。此外,有些商家还在商品详情页或直播室里使用AI生成的虚假测评,编造使用体验,误导消费者的理性判断。

垦丁律师事务所的创始合伙人麻策律师指出,通过AI技术模仿名人进行直播带货或营销活动,严重侵犯了被仿冒名人的肖像权、名誉权及声音权等合法权益,并违反了消费者权益保护法和广告法规中禁止虚假宣传的规定。这些行为损害了消费者的知情权和选择权。如果情节严重,可能构成诈骗罪,需承担刑事责任。

中国人民大学公共管理学院教授、首都发展与战略研究院研究员张友浪指出,虚假视频和商品展示会导致信息失真,并侵蚀公众的信任,还引发售后维权问题增多的现象。这将进一步加剧平台生态系统恶化的问题,导致合规商家在不公平的竞争中受到挤压。

鉴别人工智能生成的虚假视频变得更为复杂。

谢永江认为,由于AI工具普遍且操作简单,导致许多非专业人士能够轻易制作虚假内容。这是造成AI生成内容被广泛使用的一个主要原因。

10月17日晚,安徽铜陵一位女子利用AI技术制作了几张“流浪汉进家”的图片,并发给正在外聚餐的丈夫。逼真的画面使得丈夫误以为是真的,并报了警。民警到现场核实后,才确认这是一起使用AI整蛊引发的闹剧。

去年以来,她在一家音乐培训机构学习视频剪辑时尝试用AI生成视频。近日,在网上发布了一段自己制作的短片:蓝天白云下,教学楼内传来学生的琅琅书声;教室中,老师在黑板上写下作文题目“我想去看看”……短短3分钟的视频里,景物、人物和日常用品都十分逼真。

“用AI技术生成图片,并将其转换为视频,接着进行编辑和添加语音解说后,一条完整的视频便诞生了。”周一时向记者透露称,她并非影视专业毕业生,而是出于对生成式视频的兴趣才进行了尝试,最终呈现出来的逼真视频正是她在使用三至四个软件制作而成的成果。

“许多AI生成的图片和视频已经真假难辨,如果没有标识的话。头号短视频平台的技术支持员刘钰(化名)指出,由于大模型的能力愈发强大,识别AI制作的虚假视频变得愈加困难。”

一些长视频能够通过上下文来区分不同的区域,以人像为主的短视频经过特效处理后几乎与真人没有区别。如果设备、码率和帧率等方面再有所改善,识别精度还会进一步提高。刘钰表示,在现阶段平台对AI视频识别仍主要依赖人工与机器相结合的方式,并无法完全依靠技术完成识别工作。

张友浪分析指出,由于平台流量与带货转化具有强激励作用,一些商家和个人利用AI技术实现“劣币逐利”,并迅速复制扩散;网络环境匿名性和隐蔽性高,使得滥用行为取证困难且追责成本高昂;许多人缺乏辨别深度伪造的能力,加上平台内容溯源机制不完善,这同样加剧了AI生成内容应用乱象。

使生成的AI内容具备可见性、可追溯性和检查性。

从今年9月1日开始,《人工智能生成合成内容标识办法》,由国家互联网信息办公室等部门制定,正式施行。办法规定所有AI生成的内容如文字、图片和视频等均需添加标识,以便明确内容的来源及真伪。

时一告诉记者,导出AI生成的视频时,通常会有软件自带的AI水印;如果没有水印,则在发布视频时,需要选择平台所提供的AI生成声明选项。

但选不选,目前还是看自觉,有的人可能认为只要视频不涉及版权或肖像权问题就可以不标注。谭靖指出,为了吸引眼球、增加流量,一些博主还会专门使用AI技术去除视频原本的“AI生成”水印,并在发布时选择不标注。

九月份,一些短视频平台发布了加强治理人工智能内容滥用的通知公告,该平台上对违规视频和账号已经采取了下架以及清退出来等相关措施,并且特别指出人工智能的应用必须要符合相关规定标准。若任何误用了或者滥用了这些人工智能技术的行为都将被严厉打击。

张友浪提议,在对AI生成的内容进行标注的同时,“可见、可检、可追”。应探索将隐性水印和技术层面的溯源元数据、模型指纹结合应用,以帮助平台和相关监管部门有效核实与验证。

在明确AI生成内容的标识责任方面,张友浪提出了以下建议:实行“内容生产者为首责、平台把关、第三方可核验”的分层机制。具体来说,上传者需先自声明并嵌入水印;平台应在内容分发前进行自动识别与抽检复核,并对未标注或疑似不实的内容要求强制补标或者限制流量下架处理;行业协会和权利人可以通过取证接口来进行外部核实。此外,对于带有商业营销、广告性质的内容应按广告法规定执行更高的披露标准。

为促进社会依法合理地利用AI生成的内容,谢永江提议加强平台的责任意识,并采取更为严格的技术和管理手段。此外,他还呼吁提升公众对AI技术的认知水平。同时,他也强调需要强化多部门的合作,以更加有效地打击与AI生成内容相关的违法行为。

本报记者:陶稳