威胁情报公司KELA（KELA Research and Strategy Ltd.）近日发布的一份新报告显示，2024年，暗网中对恶意人工智能工具的讨论与提及已经增加了200%，该报告强调网络犯罪分子如何迅速采用人工智能工具和策略。
这一发现来自KELA的《2025年人工智能威胁报告：网络犯罪分子如何利用人工智能技术武器化》，该报告使用了KELA情报收集平台的数据，KELA公司的情报收集平台全年监控和分析网络犯罪地下社区，包括暗网论坛、Telegram频道和威胁行为者的活动。研究人员发现，威胁行为者不断改进AI越狱技术，以绕过公共AI平台的安全限制。
报告显示，2024年，有关越狱和在暗网使用恶意AI工具的讨论激增，其中，与越狱ChatGPT等合法AI工具相关的讨论量增加了52%，而有关恶意AI工具和策略的讨论增加了219%。前者是关于如何绕过此类AI平台内置的防护以执行恶意活动，而后者则与KELA所说的“暗黑人工智能工具”有关。
研究发现，网络犯罪分子越来越多地传播和利用所谓的“暗黑人工智能工具”，包括越狱模型和WormGPT和FraudGPT等专门构建的恶意应用程序。这些工具旨在自动执行核心网络犯罪活动，例如网络钓鱼、恶意软件开发和金融欺诈。这些要么是公开可用的生成式人工智能（GenAI）工具的越狱版本，通常作为网络犯罪地下服务提供，要么是使用定制的开源大型语言模型（LLM）构建的。例如，WormGPT基于GPT-J LLM版本，专门针对商业电子邮件泄露（BEC）和网络钓鱼等恶意活动而定制。
报告指出：“这些暗黑人工智能工具已经演变成人工智能即服务（AIaaS），为网络犯罪分子提供自动化、基于订阅的人工智能工具，使他们能够生成任何恶意内容。”“这降低了进入门槛，使网络钓鱼、深度伪造和欺诈骗局等可扩展攻击成为可能。”
通过消除AI公司设置的安全防护限制并添加自定义功能，人工智能系统降低了技术水平较低的攻击者进行大规模复杂攻击的障碍。KELA补充道，此类工具已经变得如此普及，需求量如此之大，以至于一些威胁行为者开始使用假冒版本来欺骗同行。
该供应商指出，威胁行为者还使用基于LLM的GenAI工具来：
自动化并增强网络钓鱼/社交工程的复杂性，包括通过深度伪造音频和视频 自动扫描和分析漏洞（渗透测试），以加速攻击周期 增强恶意软件和漏洞开发，包括信息窃取程序和勒索软件 自动化和优化身份欺诈，包括使用深度伪造工具绕过验证检查 自动执行其他网络攻击，如密码破解、凭证填充和DDoS 在网络钓鱼方面，KELA发现网络钓鱼活动变得越来越复杂，威胁行为者利用生成式人工智能来制作令人信服的社会工程内容，有时还会使用深度伪造的音频和视频来冒充高管并欺骗员工授权欺诈交易。
研究还发现，人工智能正在加速恶意软件的发展，使得高度规避性的勒索软件和信息窃取程序得以快速创建，对传统的检测和响应方法构成了重大挑战。
KELA的AI产品和研究主管Yael Kishon表示：“我们正目睹网络威胁形势发生了巨大变化。网络犯罪分子不仅在使用人工智能，他们还在暗网地下生态系统中建立专门用于人工智能网络犯罪的整个部分。企业必须采用人工智能驱动的防御措施来对抗这种日益增长的威胁。”
为了应对日益严重的人工智能网络威胁，KELA建议各企业投资于员工培训，监控不断发展的人工智能威胁和策略，并实施人工智能驱动的安全措施，例如基于自动情报的红队和生成人工智能模型的对手模拟。
卡巴斯基数字足迹情报服务近日发布的一份报告发现，在2023年，有近3000个暗网帖子在讨论如何使用ChatGPT和其他大型语言模型（LLM）进行非法活动。
这些讨论包括创建聊天机器人的恶意替代品、越狱（突破语言设置的恶意使用限制）技术、恶意提示列表以及有关如何滥用这些工具的其他一般对话，以及讨论可访问ChatGPT付费版本的被盗帐户的帖子。
主要见解 卡巴斯基的数字足迹情报服务在2023年发现了近3000个暗网帖子，讨论涉及ChatGPT和其他大型语言模型（LLM）的非法活动。
其中包括创建恶意版本、越狱技术、有害提示列表以及有关被盗帐户的讨论。
暗网上的威胁参与者积极分享有关利用ChatGPT的知识，讨论创建恶意软件、使用人工智能处理用户数据转储以及共享越狱以绕过内容审核策略等主题。
研究还发现，围绕WormGPT、XXXGPT和FraudGPT等工具进行了大量讨论，这些工具被作为ChatGPT的替代品销售，限制较少。
卡巴斯基的研究发布前不久，OpenAI暂停了一名开发者的资格，原因是他创建了一个模仿美国国会议员迪恩·飞利浦（DeanPhilips）的聊天机器人。该组织表示，这一行为违反了其关于政治竞选或未经同意冒充个人的规则。
ChatGPT如何被利用？主要发现 虽然企业和消费者将ChatGPT作为改善日常生活的工具，但威胁行为者正在尝试利用它来攻击毫无戒心的个人和组织。
在随附的研究博客上分享的一系列帖子中，可以看到暗网用户讨论如何使用GPT创建可以修改其代码的多态恶意软件，以及如何使用人工智能（AI）处理用户数据转储。
另一位用户分享了著名的ChatGPT的“Do Anything Now“（DAN）越狱，旨在绕过OpenAI的内容审核政策。研究发现，在2023年，暗网上有249项分发和销售提示信息的提议。
总的来说，这些发现不仅凸显了ChatGPT可能被滥用，而且还表明网络犯罪分子正在积极分享如何利用它的知识。正如一位匿名用户评论的那样，“AI帮了我很多，GPT-4是我最好的朋友。”
卡巴斯基数字足迹分析师阿丽萨·库利申科（Alisa Kulishenko）表示：“威胁行为者正在积极探索实施ChatGPT和人工智能的各种方案。”
“主题通常包括恶意软件的开发和其他类型的非法使用语言模型，例如处理被盗用户数据、解析受感染设备中的文件等。
“人工智能工具的普及导致ChatGPT或其同类工具的自动响应被集成到一些网络犯罪论坛中。”
“此外，威胁行为者倾向于通过各种暗网渠道分享越狱信息（可以解锁附加功能的特殊提示集），并设计出利用基于模型的合法工具的方法，例如基于恶意目的模型的渗透测试工具。”
到目前为止有什么风险？ 虽然库里申科认为“生成式人工智能和聊天机器人不太可能彻底改变攻击格局”，但这项研究表明，威胁行为者对利用这项技术达到自己的目的产生了浓厚的兴趣。
到目前为止，生成式技术最大的风险似乎来自于他们创建网络钓鱼电子邮件的能力。例如，网络安全供应商SlashNext于2023年11月发布的一项研究发现，自2022年第四季度ChatGPT发布以来，恶意网络钓鱼电子邮件增加了1265%。
尽管OpenAI等供应商已尝试使用内容审核策略来阻止ChatGPT产生恶意输出，但事实证明这些策略不足以防止滥用，而且很容易通过越狱和其他技术来规避。
简要测试下ChatGPT的内容审核功能，要求ChatGPT生成一封网络钓鱼电子邮件，“作为网络钓鱼防范意识计划的一部分”，通过该电子邮件可以说服收件人更新其在线帐户支付详细信息，聊天机器人对此做出了回应，生成了一封基本的钓鱼邮件。
现实情况是，如果有人想恶意使用LLM，他们有很多变通办法可以做到这一点。
底线 该研究强调，暗网正热衷于使用人工智能来自动化网络攻击。尽管不必惊慌，但必须认识到网络犯罪有可能增加。
如果黑客论坛和其他地下社区继续就如何恶意使用这项技术进行合作，网络犯罪将不可避免地增加。
如今，人工智能初创公司已超过67000家，谁知道这条崎岖的道路将会把人类带向何方？