jiadelimei1688 期刊记者：陈鹏利柯阳期刊编辑：董兴胜
生成式人工智能（GAI）时代，似乎已经无法逆转，就连人们曾经相信的“眼见为实”、“图文并茂”等词语，也逐渐成为空话。马苏。
今年农历新年期间，OpenAI 发布了Vincent 视频模型Sora，该模型被认为是“AGI（通用人工智能）的重要里程碑”，将颠覆视频内容的生成方式。 Sora的到来不仅让科技界兴奋，也引发了担忧。一些专家表示，此类技术可能会导致“深度伪造”视频的增加，从而难以确定其真实性。 OpenAI 本身也承认，它无法预测人们使用Sora 的所有有益方式，也无法预测人们滥用Sora 的所有方式。
Sora根据提示词生成的视频截图图片来源：OpenAI官网
早在Sora诞生之前，AI“深度伪造”技术就已引起国内外关注，知名人士、跨国公司纷纷成为AI“深度伪造”的受害者。今年1月底，明星泰勒·斯威夫特（中国昵称“泰勒·斯威夫特”）的假“淫秽照片”在社交平台上广泛传播。这一事件震惊了白宫，并引发了一波对人工智能的担忧。据香港报报道，2月4日，一个诈骗团伙利用AI“深度伪造”技术，成功骗取一家跨国公司香港分公司2亿港元。这也是一次面目全非的事件中最大的损失。 “香港曾经发生过”的事件。
这种情况越来越多，由人工智能引发的新型焦虑正在形成。 Real AI联合创始人算法科学家肖子豪在接受《每日经济新闻》记者采访时表示，利用AI“深度伪造”技术的诈骗案件是“深度伪造”技术实施的结果，预计预计2024年这一数字将进一步增加。 “不懂技术的普通人也可以创造‘深度伪造’内容。”
是娱乐还是犯罪？ “deepfake”一词是英文单词“deepfake”（深度学习和假的组合）的翻译，现在也称为深度合成。 “Deepfakes”诞生于美国。 2017年，一位名叫Deepfake的美国用户在社交网站Reddit上发布了与著名演员有关的虚假视频，该技术此后迅速应用于色情、政治、广告和娱乐等多个领域。
上海合合信息技术有限公司（以下简称“合合信息”）图像算法研发总监郭凤军在《每日经济新闻》向记者表示，“深度伪造”技术既有积极的一面，也有消极的一面。中国，他说有。应用。
活动应用程序通常位于以下位置： 1.个人娱乐。有些应用可以为用户提供艺术照片模板或通过换脸生成用户照片，让用户足不出户就能“拍”出漂亮的照片。此外，“deepfake”技术还可以用来制作搞笑视频或模仿名人表演，但这可能会涉及版权和道德等问题；2.教育。利用Deepfake 技术合成的历史人物讲解视频，让课堂变得更有趣；3. 影视制作。比如电影、电视剧、综艺节目给演员换脸，纪录片给演员换脸是为了保护参与者的隐私和安全。当医院描述或诊断患者的面部肌肉疾病时，利用Deepfake技术伪造视频中患者的脸部，当患者的脸部被打马赛克以模糊面部症状时，可以替换为患者的脸部它保护了人脸和面部运动信息，也保护了患者的隐私。例如，一些博物馆正在使用深度伪造技术，让已故艺术家“出现”并讲述他们的故事和作品。
但现实中，“深度伪造”技术也广泛应用于诈骗、色情等违法场景。比如，一些不法分子利用“深度伪造”技术传播虚假视频，甚至制造假新闻危害社会，但视频中的换脸技术门槛随着币值的下降，更容易被别有用心的人所利用。使用“深度伪造”技术实施盗窃。泄露他人身份实施商业诽谤、敲诈勒索、网络攻击、犯罪等。
记者发现，目前国内外存在多起利用“deepfake”技术的deepfake事件，这些事件给公众造成了很大的负面影响。
例如，泰勒·斯威夫特最近被曝出大量假“淫秽照片”。据九号新闻报道，泰勒·斯威夫特正在考虑对制作该图片的网站采取法律行动。新闻秘书让-皮埃尔在1 月26 日的白宫新闻发布会上被问及此事时表示：“我们对此类图像，或者更确切地说是虚假图像的传播感到担忧，这令人担忧。”该论文称，这并不是泰勒·斯威夫特第一次被人工智能“造假”。就在这起“淫照”事件发生前不久，一则人工智能生成的泰勒·斯威夫特商品广告在海外社交媒体上传播。该欺骗性广告使用“深度伪造”技术合成“泰勒·斯威夫特”的声音，然后将该声音和她的形象与特定品牌炊具的广告片段拼接起来，创造出“瑞士斯威夫特”，并声称他免费向粉丝赠送炊具。受害者点击并支付了9.96 美元的运费，但炊具从未真正交付。
泰勒·斯威夫特“深度伪造”问题严重的原因在于，女性是犯罪分子的重要目标群体，利用“深度伪造”技术对女性进行犯罪化，例如制作各种淫秽视频和照片，以达到犯罪目的。利润。根据网络安全研究组织Sensity 2020 年秋季发布的一份报告，至少有104,800 名女性在Telegram 应用程序上“裸露”，而分发这些照片的7 个频道累计用户数量已超过10 万。根据Sensity 的追踪研究，超过70% 的Telegram 应用用户表示，他们上传的照片是通过社交平台或其他私人渠道获得的。
英国《连线》杂志2020年发表的一份报告显示，自2020年7月以来，至少有10万名女性被“深度造假”应用程序DeepNude（深度造假软件，现已删除）制作的裸照曝光。他指出，自己被偷拍，包括18 岁以下的人。年龄。
在一些国家，政客也成为制作虚假视频的犯罪分子的目标。 1月21日，美国新罕布什尔州部分选民报告称，收到“拜登总统”的自动短信电话，告诉他们不要在该州初选中投票。美国白宫新闻秘书卡琳·让-皮埃尔第二天回应称：“那通电话确实是假的。总统（拜登）没有录音。我可以证实这一点。”
更严重的是，deepfakes甚至已经进入战争，成为“新武器”。 2022年3月，一段广为流传的乌克兰总统泽连斯基的“视频”，他在视频中呼吁乌克兰士兵放下武器投降。事件发生后，乌克兰国防部在其国外官方社交媒体账户上发布了泽连斯基的视频，并配文：“请注意，这是不可能的”。
日本近期在中国和香港发生大规模人工智能“深度伪造”诈骗事件。诈骗者在YouTube上收集了跨国公司英国高管的公开图像，并利用AI“深度伪造”技术，将高管的面孔和声音替换为诈骗者的面孔和声音，成功诈骗了香港分行的两名人员。 10亿港元。在这起大规模造假事件发生之前，今年1月中下旬，香港特区行政长官李家超也曾是“深度造假”的对象。网上发布了一段利用人工智能的虚假电视节目片段，似乎显示李家超向公众宣传高回报的投资计划。特区政府立即作出严正解释，表示所有相关视频均属虚假，行政长官并没有发表任何相关声明。
去年5月初，内蒙古自治区包头市公安局电信网络犯罪侦查局公布了一起利用智能AI技术实施电信诈骗案件。福建省福州市一家科技公司的法人代表郭先生的一位“朋友”突然通过微信视频联系郭先生，称他的朋友在别处竞标，需要430万元的押金，我坚持要我想要它。使用郭先生的公司账户转账。郭先生在未确认收到钱款的情况下，就陆续向对方转账了430万元，假定了视频聊天的信任，但后来他才意识到自己被骗了。
对于个人娱乐，北京中文（长沙）律师事务所律师刘凯在《每日经济新闻》告诉记者，2022年8月，成都铁路交通第一法院公告称，该团伙利用“AI”在第一种情况下。 “变脸”应用程序侵犯他人权利。肖像权诉讼。古汉服明星魏女士对另一家公司提起诉讼，指控其未经本人许可上传包含其肖像的视频作品并生成人工智能变身视频，侵犯了她的肖像权，并对四家运营该公司的公司提起诉讼。记者了解到，目前国内已出现大量换脸APP，但部分APP如ZAO、趣眼等已被下架。
大模型技术降低“深度伪造”门槛“深度伪造”是指利用深度学习技术生成合成图像、音频、视频的技术。公开的名人视频、音频和照片为AI训练提供了丰富的素材，而这些名人往往成为AI欺诈的“受害者”。从技术原理来看，“深度伪造”的实现主要依靠深度神经网络，尤其是生成对抗网络（GAN）。通过对大量面部图像数据进行训练，“deepfake”模型可以学习面部特征之间的基本关系，并生成与真实面部特征非常相似的虚假面部特征。
郭凤军告诉记者，“深度伪造”不能等同于国内常见的“AI换脸”，后者只是前者的典型应用。 “说到deepfake技术，国内外的研究团队都达到了非常高的技术水平。相比中国，国外的应用程序和网站更多，这些平台也有更多的deepfake制作工具，让用户可以生成更多的Deepfake。”共享Deepfake 内容相对容易。 ”
使用Sora Image可以生成高清图像来源：OpenAI官网
浙江大学国际合作商学院数字经济与金融创新研究中心联席主任、研究员盘和林也向记者表示，其他国家对此类“深度伪造”算法的监管已经放松，应用工具也越来越多并且有更多可用。他说它正在增加。从丰富的工具来看，该技术的普及度是比较高的。 “中国有一定的使用限制，我们有监管。”潘和林说。
肖子豪表示，事实上，通过“AI换脸”进行诈骗在国内还是很常见的，只是普通人接触到的案例较少。一方面，事件太多会引起社会恐慌，另一方面，这些事件的广泛传播可以给犯罪分子进行诈骗的“灵感”。他透露，瑞莱智慧正在帮助多家银行抵御欺诈攻击，这将改变人工智能在金融场景中的面貌。
他认为，随着人工智能技术的发展和普及，“深度伪造”技术在犯罪中的应用肯定会不断增加，并表示，“到2024年，利用深度伪造的欺诈案件数量将会增加。我们预测，数量还将进一步增加。”肖子豪指出，造成这种情况的原因是“深度伪造”相关软件和工具的发展和广泛使用，使得不懂技术的普通人也能创作出深度伪造内容。此外，人工智能技术的进步也提高了“深度伪造”内容的速度，使人眼更难以察觉。
“大规模模型技术使我们能够使用较少的面部数据来构建特定人的高度逼真的面部模型，从而降低犯罪分子制作面部视频的成本，”肖子豪说。
对于“深度伪造”技术不当应用可能造成的社会损害，郭凤军表示，虚假合成图像会影响社会信任和媒体信任，情况严重时，我们认为这可能对公共安全构成威胁。此外，深度伪造图像不仅会损害公司的声誉和财产，还会造成个人声誉、财产和心理损害。
当前的法律法规是否足够健全？大量的深度伪造视频和照片的出现正在引发国内外对人工智能的新担忧。
据央视新闻报道，今年1月的“拜登假电话”引发了美国社会关于人工智能“深造假”对选举可能产生的影响以及相关监管政策跟进缓慢的争论。质疑也延伸到了美国法律。美国政府监督组织公共利益倡导者主席罗伯特·怀斯曼表示，政治“重大捏造”的时刻已经到来，政策制定者必须尽快采取保护措施，否则他们批评说，如果做过。 “Deepfakes”会造成混乱并导致欺诈行为长期存在。消费者技术协会首席执行官夏皮罗表示：“政府在人工智能领域可以发挥重要作用，确保安全围栏和护栏到位，告知行业参与者什么可以做、什么不能做。 ”我认为有必要这样做。
泰勒·斯威夫特AI淫照事件发生后，潘和林发表署名文章《用AI打败AI“深度造假”》。文章还指出，虽然美国正在推进人工智能立法，但大多数提案仍处于撰写阶段。
与美国相比，中国关于“深度造假”的法律相对先进。记者了解到，截至2019年11月，国家网信办、文化和旅游部、国家广播电视总局联合发布第《网络音视频信息服务管理规定》号，自2020年1月1日起施行。 《规定》要求网络音视频服务的使用者和提供者利用基于深度学习、虚拟现实等新技术新应用制作、发布、传播不切实际的音视频信息，并规定必须对人员进行标记。不得利用基于深度学习、虚拟现实等的新技术、新应用制作、发布、传播虚假新闻信息。
图片来源：每日经济新闻供图：刘国美
2022年，国家网信办、工业和信息化部、公安部联合发布的第《互联网信息服务深度合成管理规定》号文，要求深度合成服务商采用技术或人工方式对用户输入数据和合成结果进行审核。已经明确表示有。去年8月，国家网信办也在《人脸识别技术应用安全管理规定（试行）（征求意见稿）》中宣布，人脸识别技术的使用者必须对图像采集设备和个人识别设备的安全性和潜在风险进行年度检查和评估，并采取有效的防护措施。明确了应采取以下措施。收集设备和个人识别设备将受到保护，免受攻击、入侵、干扰和破坏。
刘凯在电话《每日经济新闻》告诉记者，事实上，目前世界各国对于“人工智能”并没有最终的定义，各国都将其定义为一类计算机应用的总称。说他称之为术语。 “据我所知，世界上还没有一个国家专门针对人工智能制定统一的监管规则。”
然而，我国在人工智能相关立法方面紧跟行业前沿，近两年连续出台了三项重大法规：《互联网信息服务算法推荐管理规定》、《互联网信息服务深度合成管理规定》、《生成式人工智能服务管理办法》。《网络安全法》可以说营造了多元化的监管环境，实现了法律法规的多维度协同治理。
“关于人工智能深度伪造泰勒·斯威夫特的淫秽照片，日本法律法规主要适用的规定如下：《民法典》第1019条第1款、《互联网信息服务深度合成管理规定》第14条第2款、《生成式人工智能服务管理暂行办法》规定第四条。“这是第四条的规定，”刘凯说。
攻防：AI能否战胜AI?在生成式AI时代，如何有效监控和减少“深度伪造”产生的虚假信息是全球关注的话题，已成为一个重要问题。盘和林曾在《用AI打败AI“深度造假”》号文章中提到过这样的观点。 “能够规范生成式人工智能的是技术本身，而不是工业时代的法律规定。一旦掌握了它，就可以对犯罪分子进行技术镇压。”
那么，是否有可能利用人工智能来阻止人工智能欺诈呢？
对此，郭凤军告诉记者，“中国电信等央企，锐来智、中科锐健等大学、科学院培育的科技公司，以及下面的公司等等。国内有很多公司在做这件事。” ” “网易和合合信息深耕人工智能行业多年”，他表示，国内科研团队在识别“深度伪造”方面已经达到世界先进水平。在国际著名的篡改检测大赛中，国内各研究团队多次获得第一、第二名。
以合合信息本身为例，郭凤军透露，公司在证件/证照图像方面积累了大量的AI篡改检测技术。目前，娃娃信息研发的单据、发票图像篡改检测和定位AI技术以及人脸图像伪造识别AI技术广泛应用于金融、保险行业。郭凤军认为，除了金融安全场景外，公共安全和媒体内容安全场景也有很大需求，比如新闻误判、谣言识别与分析等，禾禾信息正在积极探索这些场景的技术应用。
肖子豪表示，瑞莱智慧自2018年以来持续关注“深度伪造”技术，并在“深度伪造”检测和防范方面投入研发资源。 “例如，2023年，我们帮助银行抵御了汇款业务场景中数千次深度伪造攻击。”
图片来源：公司官网
他告诉记者，瑞莱智慧正在研发迭代的、更先进的算法，也开发出了一套完整的深度伪造攻防覆盖系统，通过自动化对抗来提升防御能力，他说他就在现场。我们还密切关注犯罪分子使用的最新造假技术，及时进行检查，加强防御能力。
“由于新的造假手段的不断出现、日益复杂的网络通信环境以及基于深度神经网络的检测算法的结构缺陷，防深造假检测技术也面临着‘强烈冲突’，将不断需要更新和改进。”迭代优化。就像猫捉老鼠的游戏一样，随着他们不断学习攻击和防御，深度合成和检测不断发展，从而躲避前几代人的反制措施。未来我们需要整合deepfake检测技术的发展。 “通过整合多模态内容取证分析等多方面能力，我们可以准确识别假冒内容，构建可靠的内容体系。”肖子豪表示。
每日经济新闻
微信扫一扫打赏
支付宝扫一扫打赏