Darkdump是一款开源的开源情报(OSINT)工具,专门用于深网(Deep Web)和暗网(Dark Web)的信息搜集与调查。它由开发者Josh Schiavone维护,在Github上开源,Darkdump v4版本已于今年4月发布。
Darkdump的定位很明确:帮助安全研究人员、威胁情报团队和执法相关人员合法地收集公开信息,监控泄露数据、凭证和网络犯罪趋势。它不鼓励也不支持任何非法活动。
Darkdump的核心功能是根据用户输入的关键词,从多个暗网搜索引擎抓取结果,并可选地深入抓取每个结果站点中的电子邮件、元数据、关键词、文档和图片等信息。所有结果会实时输出到终端或本地浏览器界面,同时自动对照Ahmia公开的滥用黑名单进行过滤。
Darkdump的工作方法与主要功能 Darkdump支持六种暗网搜索引擎,可通过参数切换:
Ahmia:默认搜索引擎,经Tor项目认可,过滤严格,无需Tor即可使用。 NotEvil:Ahmia的分支,索引更广,需要Tor。 TorDex、Tor66、OnionLand、Excavator:这些引擎过滤较少或几乎无过滤,需要Tor,使用前会弹出确认提示。 无论使用哪个搜索引擎,结果都会与暗网最大搜索引擎Ahmia的公开滥用黑名单进行交叉检查。未经过滤的搜索引擎会在执行前提示确认。但这种策略仍不完美,因此在使用未经过滤的搜索引擎进行搜索和抓取时,务必格外谨慎并仔细判断。
工具还支持深度抓取(scrape),可以提取页面中的元数据、链接、邮箱、文档,甚至图片。另外提供凭证泄露(breach)情报扫描模式,针对邮箱或域名查询相关泄露信息。
Darkdump的安装与使用 在Linux和macOS上,安装相对简单:
git clone https://github.com/josh0xA/darkdump cd darkdump chmod +x install.sh ./install.sh 安装后会生成两个命令:darkdump启动网页界面,darkdump-cli运行命令行工具。
手动安装则需要分别安装主程序和网页界面的依赖:
pip3 install -r requirements.txt pip3 install -r darkdump-web/requirements.txt darkdump使用前需要正确配置Tor。在torrc文件中开启控制端口(通常是9051),并设置哈希密码。启动Tor服务后即可使用。
命令行常用参数包括:
-q 搜索关键词 -a 返回结果数量(默认10) -e 指定搜索引擎 -p 通过Tor代理 -s 深度抓取 -i 同时收集图片(需配合-s) -u 去重 -o 导出为JSON、CSV或TXT --breach 启动凭证泄露扫描 例如:
# Basic search via Ahmia (no Tor required) darkdump-cli -q "privacy tools" -a 10 # Search and deep scrape each result via Tor darkdump-cli -q "
很多人觉得,只要用Tor浏览器访问.onion站点,就能在暗网里彻底隐身,没人能找到您。但事实往往没那么简单,暗网可能并不像您想象中那么匿名,不少隐藏服务因为配置不当或者操作失误,露出了不少马脚。
“暗网下/AWX”看到,有人开发了一种工具,可以剥去暗网站点的面具,它叫OnionScan。
OnionScan是一款免费开源的暗网调查工具,专门用来扫描和分析暗网站点。它能帮你快速检查一个.onion地址的各种隐私和安全问题。只要输入一个简单命令,它就会像侦探一样,把站点的各个角落翻个遍,告诉你哪里可能泄露了真实信息。
OnionScan项目地址在GitHub上(s-rah/onionscan),有兴趣的可以自己试试——不管是想保护自己的站点,还是单纯好奇暗网的真实样子,它都是个挺实用的工具。
OnionScan 0.2版本已经可以在OnionScan的Github上下载。
OnionScan的主要目标 OnionScan表示,无论是运营安全漏洞还是软件配置错误——大多数情况下,对匿名性的攻击并非来自破坏底层系统,而是来自运营者自身,也就是那个无法有效利用技术手段解决的持续威胁——人为错误。
根据OnionScan官方网站的说法:一是希望帮助隐藏服务的运营者发现并修复其服务的运行安全问题:希望帮助他们检测配置错误,并希望启发新一代匿名工程项目,从而让世界变得更加私密;二是希望帮助研究人员和调查人员监控和追踪暗网网站:事实上,OnionScan希望尽可能简化这一过程。这并非因为OnionScan认同所有调查机构的目标和动机——大多数情况下并不认同。但OnionScan希望通过简化这类调查,为新型匿名技术的发展创造强大的动力。
OnionScan如何使用 要安装OnionScan,需要Go环境(Go 1.6 或 1.7),并且需要以下Go标准库核心未提供的依赖项:
golang.org/x/net/proxy – 用于 Tor SOCKS 代理连接。 golang.org/x/net/crypto – 用于 PGP 解析 golang.org/x/net/html – 用于 HTML 解析 github.com/rwcarlsen/goexif – 用于提取 EXIF 数据。 github.com/HouzuoGuo/tiedot/db – 用于爬取数据库。 使用OnionScan后,会出具一份报告,列出高、中、低风险问题。如果想看更详细的信息,可以加个--verbose参数;如果想导出JSON格式方便进一步处理,可以加个--jsonReport参数。具体说明如下:
如需一份简要报告,详细说明使用隐蔽服务发现的高风险、中风险和低风险区域:
onionscan notarealhiddenservice.onion
最有趣的输出来自详细输出选项:
onionscan --verbose notarealhiddenservice.onion
如果您想与其他程序或应用程序集成,还可以生成 JSON 输出:
onionscan --jsonReport notarealhiddenservice.onion
如果您想使用监听其他地址的代理服务器 127.0.0.1:9050,则可以使用 –torProxyAddress 标志:
onionscan --torProxyAddress=127.0.0.1:9150 notarealhiddenservice.onion
OnionScan可以查出什么 OnionScan会扫描常见的人为失误,可以发现的:
网站配置错误导致真实IP地址泄露 与明网服务器匹配的SSH指纹暴露 软件版本和服务器banner暴露(SMTP和FTP应用的banner泄露了主机名称和操作系统版本) 目录遍历、文件泄露 EXIF数据残留(比如上传图片没去掉元数据,GPS坐标隐藏在图像元数据中) 比特币地址、电子邮件地址和PGP密钥等关联匹配 其他各种可能暴露运营者身份的痕迹 “暗网下/AWX”看到,OnionScan还拥有关联实验室——一个网络仪表板,可以映射扫描站点之间的关系,由此挖掘到背后的操作者忽略了的模式问题。比如,同一个SSH密钥在两个“看起来不相关”的网站上出现、同一电子邮件、同一服务器……它将这些线索点连接起来。