OpenAI

谷歌威胁情报小组警告:“LLM劫持”升温,暗网以一折价格倒卖OpenAI、Anthropic、谷歌大模型访问权限

网络犯罪分子正将高价大型语言模型(LLM)的访问权与算力本身变成可交易的地下商品,试图利用昂贵的大型语言模型进行敲诈勒索、战争和间谍活动。谷歌威胁情报小组(Google Threat Intelligence Group,GTIG)首席分析师约翰·赫尔奎斯特(John Hultquist)在接受《金融时报》采访时表示,网络安全部门在2026年观察到的“LLM劫持”(LLM-jacking)已出现显著增长,既包括倒卖公共人工智能(AI)服务的被盗登录凭证,也包括窃取企业云算力或者在他人基础设施上免费运行自有模型。 谷歌威胁情报小组同时观察到,具有前瞻性的攻击者正从基本的提示式攻击过渡到智能体AI工作流程和 AI 赋能的自动化攻击。GTIG观察到,出于各种动机的攻击者会攻击专有人工智能模型和源代码,窃取应用程序编程接口 (API) 凭证,并劫持受害者的​​云环境以支持未经授权的人工智能工作负载。GTIG称,2026年第二季度主要趋势包括: 软件供应链风险不断扩大:人工智能辅助编码工具和开源软件的集成加快了软件开发周期,但也增加了运营风险,威胁行为者积极以开发人员、人工智能编码助手和LLM安全扫描工具为目标。 针对专有AI IP:GTIG观察到,针对医疗保健、政府和媒体等各行业的专有 AI 模型、代码、提示和研究的攻击者越来越多。 向智能体人工智能和自动化转变:对手正在部署多智能体框架,这些框架能够自主管理扫描管道、解决操作错误并大规模执行凭证收集。 多阶段生命周期增强:国家支持的犯罪集团和网络犯罪组织持续利用人工智能技术作为攻击生命周期各阶段的增幅器,从目标侦察和社会工程诱饵的创建,到定制恶意软件混淆和后渗透故障排除。他们还在尝试扩大信息战(IO)活动的规模。 非法账户获取和 LLM 劫持:为了规避访问成本,攻击者窃取开发者凭证,购买被入侵的 AI 平台账户,并劫持企业云基础设施来运行未经授权的高性能计算工作负载。 什么是LLM劫持 LLM劫持可理解为针对大语言模型资源的新型滥用:攻击者通过窃取账号、API密钥或入侵企业云服务器,获得本应由付费用户或企业承担成本的先进AI能力。其逻辑与早年的“加密劫持”(cryptojacking)类似——后者是盗用他人机器挖矿,前者则是盗用他人账户与算力来跑AI推理或训练。 Hultquist拥有约20年网络安全经验,他对《金融时报》表示:“我们在地下世界看到的是,围绕AI访问权正在形成一种不断扩张的经济。”他警告,廉价获得昂贵AI资源,会给攻击者相对防御方的经济与效率优势:“归根结底,所有这些行为让他们相对我们拥有某种经济或效率上的优势,因为他们能以低得多的价格拿到这些token。” 暗网以最高约97%折扣出售AI访问权 谷歌威胁情报中心的研究人员发现,暗网上的交易平台正在出售Anthropic、OpenAI、谷歌等公司模型的访问权限,折扣最高可达约97%。ChatGPT与Claude等最高级版本的AI订阅费用单用户每月费用可高达约200美元,被盗凭证因此成为对从事网络犯罪的买家有吸引力的商品。 由于这些大型AI实验室会监控滥用并封禁异常账户,部分卖家已推出类似“售后保障”的机制:若初始账号被封,承诺免费提供新的凭证,以维持所谓“有保障的访问”。这一安排使地下供应链更具韧性,也令单纯的封号措施更难从根本上切断供给。 Hultquist指出,攻击者针对AI账户与计算资源的行动今年明显增多。随着更多企业自建或部署AI系统,此类犯罪的门槛进一步降低,并可能被用于网络犯罪、间谍活动及其他恶意用途。 从倒卖账号到直接盗用企业算力 除了转售被盗账号,另一类手法更为直接:犯罪团伙以及部分有国家背景的黑客组织入侵企业托管在云上的服务器,在目标系统上直接部署自有AI模型。算力费用由受害企业承担,资源却完全服务于攻击方。这种方式与早些年威胁行为者试图入侵第三方机器挖掘加密货币的方式如出一辙。 Hultquist强调,这种模式的危险不仅在技术层面,也在成本结构的不对称:攻击方能以远低于正常市场价的成本获得算力,防御方却须按全价建设防护体系。 Hultquist追踪国家支持的黑客组织已有二十年之久。2014年,他曝光了一名活跃的俄罗斯黑客组织“沙虫”(Sandworm )的活动,并在两年后将其与乌克兰电网遭受的史无前例的攻击联系起来。 Anthropic最新季度AI滥用报告与上述趋势相互印证。报告显示,威胁行为者曾试图在包括美国、英国、也门等二十多个国家利用其Claude工具从事恶意活动。Hultquist的判断很直接:“每一个威胁行为者都在使用AI。”他补充说,因此人工智能工具必须成为网络安全未来不可或缺的一部分。 “任何认为人工智能只是一时的潮流,并想让它对自身造成影响的人,总有一天会发现自己被淹没在水里,”他说。“他们会面临比以往任何时候都多的事故、警报和攻击。我们现在必须整顿好自己。” 企业自建AI基础设施成为新目标 越来越多大型企业选择自建服务器部署定制AI模型,而不是单纯向云厂商租用算力。Hultquist警告,任何为算力付费的企业——尤其是算力支出较高的企业——在威胁行为者眼中都是“重要的潜在资源”。 他特别指出,企业刚完成AI基础设施部署后的一段时间,往往是攻击者最容易“混进去”的窗口期:新系统本身会推高算力使用,安全团队容易把异常流量误判为正常业务增长。这种“噪声”为攻击者提供了掩护,使其活动淹没在算力消耗上升之中而不易触发警报。 过去,算力突然飙升常被视为加密货币挖矿劫持的典型信号;如今企业主动引入AI,意味着算力消耗本身就会结构性增长,要区分合法使用与恶意占用变得更加困难。 网络犯罪威胁行为者凸显开源供应链风险日益增长 由以经济利益为目的的威胁组织 UNC6780(TeamPCP)发起的攻击行动凸显了威胁组织利用人工智能和开源供应链的日益猖獗。自2026年3月以来,UNC6780已针对包括PyPI、npm和Docker Hub在内的多个开源软件生态系统,实施了一系列大规模的开源软件供应链入侵。在首次入侵后,UNC6780通常会部署凭证窃取程序来获取专有数据和凭证,然后通过直接出售被盗数据或与勒索软件和数据窃取团伙合作来牟利。UNC6780恶意软件的曝光、明显的成功以及开源发布,很可能会促使其他攻击者效仿这些策略。 除了将人工智能环境和软件依赖项作为初始访问途径外,UNC6780还会收集人工智能工具的凭证以及其他凭证,并攻击特定的人工智能资产。在一次案例中,Mandiant公司遭遇了网络入侵,UNC6780先建立了初始访问权限,然后将访问权限移交给另一名攻击者,后者随后使用LAPSUS品牌发出勒索要求。证据表明,UNC6780为该公司专有的人工智能代码库创建了一个恶意GitHub Actions工作流,并且勒索者窃取了该人工智能代码库的副本。 除了上述已展示的策略外,UNC6780还实施了六种以上的不同方法来攻击或利用人工智能工具和开源软件开发实践。其中一些功能被嵌入到其DUSTMAKER凭证窃取恶意软件中。 地下市场的组织化与专业分工 从暗网活跃程度看,AI资源已不只是黑客手中的“工具”,而在演变为可交易、可囤积、可转售的“资产”。卖家提供的“有保障访问”本质上是一种商业化的风险对冲,说明这条供应链已具备相当程度的组织化与专业化。 “暗网下/AWX”认为,对AI公司与云服务提供商而言,这意味着安全投入需从“监控滥用”进一步上升到“对抗有组织的资源盗窃”。对企业用户而言,部署AI基础设施必须与算力异常检测能力同步建设,以免在数字化转型过程中为网络攻击者打开方便之门。 Hultquist还表示,AI工具必将成为未来网络安全的组成部分。在攻击方已普遍使用AI的背景下,防御方若不能以同等或更高效率运用这些能力,将在速度与成本上持续处于被动。

美国国土安全部从OpenAI调取用户数据,查出暗网儿童性剥削网站的管理员

一份解封的联邦搜查令显示,2025年10月,美国国土安全调查局(HSI)首次要求OpenAI提供ChatGPT用户数据,以追查一名涉嫌运营暗网儿童性剥削网站的嫌疑人。国土安全调查局(HSI)是美国国土安全部(DHS)下属的首要联邦执法机构。 这份由缅因州法院解封并经《福布斯》审查的文件揭示,执法部门通过嫌疑人与卧底探员的对话,锁定其使用ChatGPT的记录,开启了一条突破性调查路径。此案标志着生成式人工智能平台首次因用户提示被要求披露信息,引发了对隐私与执法界限的广泛关注。 从暗网到ChatGPT:调查的突破口 过去一年,HSI一直在努力揭开一个暗网儿童性剥削网站管理员的身份,但进展缓慢。转机出现在嫌疑人向卧底探员透露其使用ChatGPT的细节时。嫌疑人分享了两段ChatGPT对话:一段是关于“夏洛克·福尔摩斯与星际迷航中Q相遇”的虚构讨论,另一段则是ChatGPT生成的一首20万字诗歌片段,模仿特朗普的夸张风格,主题为“对基督教青年会的热爱”。这些看似无害的提示成为关键线索,促使HSI向OpenAI发出搜查令,要求提供输入者的姓名、地址、支付数据及其他对话记录。 36岁的德鲁·霍纳(Drew Hoehner)被指控为15个暗网儿童性剥削网站的管理员,面临串谋宣传儿童性虐待内容(CSAM)的指控。HSI通过卧底对话获悉,霍纳曾在美国军方工作,驻德国拉姆施泰因空军基地七年,并申请了国防部新职位。这些信息结合OpenAI提供的Excel表格数据,帮助执法部门确认其身份。 暗网犯罪与人工智能的交汇 这些暗网网站运行在Tor网络上,通过加密流量和多服务器中转隐藏用户身份,拥有至少30万用户。网站组织严密,设有管理员和版主团队,甚至为活跃用户颁发徽章。其中一个子网站专门托管AI生成的儿童性虐待内容,凸显了人工智能技术在犯罪活动中的滥用。OpenAI的数据显示,2024年7月至12月,其向美国国家失踪与受虐儿童中心报告了31,500条与儿童性虐待相关的内容,并在71次政府请求中提供了132个账户的信息。 搜查令显示,OpenAI已向HSI提交了一份包含用户信息的Excel表格,尽管具体数据尚未公开。此案是首个公开的反向AI提示请求案例,表明执法部门正利用ChatGPT的交互记录作为刑事调查的证据来源,与传统搜索引擎(如谷歌)被要求提供搜索记录的做法类似。 执法与隐私的微妙平衡 虽然霍纳的ChatGPT提示与儿童性剥削无关,但其账户信息为调查提供了关键突破。电子前沿基金会法律顾问詹妮弗·林奇(Jennifer Lynch)指出,此案表明执法部门日益依赖AI平台获取证据,凸显了OpenAI等公司需重新审视用户数据收集政策。搜查令虽仅针对霍纳的两个提示,但其潜在影响深远,可能为未来类似请求开辟先例。林奇警告,AI公司应限制数据收集规模,以保护用户隐私。 霍纳的案例显示,执法部门并未直接依赖OpenAI数据锁定其身份,而是通过卧底对话获取了军方背景等信息。然而,OpenAI提供的数据可能在确认身份和构建起诉证据中发挥了关键作用。截至目前,霍纳尚未提出抗辩,其律师和OpenAI均未回应置评请求。 AI时代执法的新前沿 美国首次针对ChatGPT用户数据的搜查令揭露了执法部门追踪暗网犯罪的新策略。从霍纳的案例可以看出,AI平台的交互记录正成为调查儿童性剥削等严重犯罪的重要工具。 然而,这种做法也引发了隐私保护的争议,OpenAI等公司面临如何平衡用户数据安全与执法合作的挑战。HSI通过结合卧底行动与AI数据成功指控暗网管理员,显示了技术在打击隐秘犯罪中的潜力,但也提醒我们,在AI时代,执法与隐私的界限需要更加谨慎的界定。此案不仅是调查技术的里程碑,也为AI行业的监管与责任敲响了警钟。

卡巴斯基发现有3000篇暗网帖子讨论如何滥用ChatGPT和LLM等人工智能工具

卡巴斯基数字足迹情报服务近日发布的一份报告发现,在2023年,有近3000个暗网帖子在讨论如何使用ChatGPT和其他大型语言模型(LLM)进行非法活动。 这些讨论包括创建聊天机器人的恶意替代品、越狱(突破语言设置的恶意使用限制)技术、恶意提示列表以及有关如何滥用这些工具的其他一般对话,以及讨论可访问ChatGPT付费版本的被盗帐户的帖子。 主要见解 卡巴斯基的数字足迹情报服务在2023年发现了近3000个暗网帖子,讨论涉及ChatGPT和其他大型语言模型(LLM)的非法活动。 其中包括创建恶意版本、越狱技术、有害提示列表以及有关被盗帐户的讨论。 暗网上的威胁参与者积极分享有关利用ChatGPT的知识,讨论创建恶意软件、使用人工智能处理用户数据转储以及共享越狱以绕过内容审核策略等主题。 研究还发现,围绕WormGPT、XXXGPT和FraudGPT等工具进行了大量讨论,这些工具被作为ChatGPT的替代品销售,限制较少。 卡巴斯基的研究发布前不久,OpenAI暂停了一名开发者的资格,原因是他创建了一个模仿美国国会议员迪恩·飞利浦(DeanPhilips)的聊天机器人。该组织表示,这一行为违反了其关于政治竞选或未经同意冒充个人的规则。 ChatGPT如何被利用?主要发现 虽然企业和消费者将ChatGPT作为改善日常生活的工具,但威胁行为者正在尝试利用它来攻击毫无戒心的个人和组织。 在随附的研究博客上分享的一系列帖子中,可以看到暗网用户讨论如何使用GPT创建可以修改其代码的多态恶意软件,以及如何使用人工智能(AI)处理用户数据转储。 另一位用户分享了著名的ChatGPT的“Do Anything Now“(DAN)越狱,旨在绕过OpenAI的内容审核政策。研究发现,在2023年,暗网上有249项分发和销售提示信息的提议。 总的来说,这些发现不仅凸显了ChatGPT可能被滥用,而且还表明网络犯罪分子正在积极分享如何利用它的知识。正如一位匿名用户评论的那样,“AI帮了我很多,GPT-4是我最好的朋友。” 卡巴斯基数字足迹分析师阿丽萨·库利申科(Alisa Kulishenko)表示:“威胁行为者正在积极探索实施ChatGPT和人工智能的各种方案。” “主题通常包括恶意软件的开发和其他类型的非法使用语言模型,例如处理被盗用户数据、解析受感染设备中的文件等。 “人工智能工具的普及导致ChatGPT或其同类工具的自动响应被集成到一些网络犯罪论坛中。” “此外,威胁行为者倾向于通过各种暗网渠道分享越狱信息(可以解锁附加功能的特殊提示集),并设计出利用基于模型的合法工具的方法,例如基于恶意目的模型的渗透测试工具。” 到目前为止有什么风险? 虽然库里申科认为“生成式人工智能和聊天机器人不太可能彻底改变攻击格局”,但这项研究表明,威胁行为者对利用这项技术达到自己的目的产生了浓厚的兴趣。 到目前为止,生成式技术最大的风险似乎来自于他们创建网络钓鱼电子邮件的能力。例如,网络安全供应商SlashNext于2023年11月发布的一项研究发现,自2022年第四季度ChatGPT发布以来,恶意网络钓鱼电子邮件增加了1265%。 尽管OpenAI等供应商已尝试使用内容审核策略来阻止ChatGPT产生恶意输出,但事实证明这些策略不足以防止滥用,而且很容易通过越狱和其他技术来规避。 简要测试下ChatGPT的内容审核功能,要求ChatGPT生成一封网络钓鱼电子邮件,“作为网络钓鱼防范意识计划的一部分”,通过该电子邮件可以说服收件人更新其在线帐户支付详细信息,聊天机器人对此做出了回应,生成了一封基本的钓鱼邮件。 现实情况是,如果有人想恶意使用LLM,他们有很多变通办法可以做到这一点。 底线 该研究强调,暗网正热衷于使用人工智能来自动化网络攻击。尽管不必惊慌,但必须认识到网络犯罪有可能增加。 如果黑客论坛和其他地下社区继续就如何恶意使用这项技术进行合作,网络犯罪将不可避免地增加。 如今,人工智能初创公司已超过67000家,谁知道这条崎岖的道路将会把人类带向何方?