1. 前言
许多IT行业的安全研究人员都会遇到这样的情况,他们需要来自技术层面的OSINT(网络空间搜索引擎)数据[1]。也许他们是想调查目标所遭受的攻击面,进行被动侦察,或者想要测量攻击的整体威胁等级。例如去年出现的memcached DDoS 攻击,其放大率为10,000倍甚至更高。Shodan当天发布的第一份报告显示,大约有17,000个易受攻击的服务器在线,这很容易被防火墙列入黑名单。
很长一段时间, shodan.io一枝独秀。虽然它很棒并且被广泛使用,但我意识到其后台发生了很多过滤。我记得大约两三年前,曝出了一个针对Cisco产品的RCE漏洞——虽然Shodan的日点击量很高,但一周后,搜索结果几乎为空。
随着OSINT变得越来越重要,分析师可利用的搜索引擎工具也更加丰富。这就是本文所探讨的内容:我将把Shodan与过去几年出现的两种新服务Binaryedge和Zoomeye进行比较,这两项服务似乎已经准备好争夺OSINT工具的王冠。此外,我还将比较它们的功能和搜索结果量(虽然会省去价格部分)。
我从以下几点进行比较:
l 定期的网上扫描功能
l 搜索、过滤和下载结果的Web界面
l 过滤选项
l 将结果集成到第三方工具的API
关于我的比较结果,每个人的体会可能不同,但一切都是我最真实的反馈。
1.1 Shodan
Shodan在OSINT中几乎人尽皆知。它以标记和搜索各种不同设备(包括网络摄像头,工业控制系统和物联网设备)的能力而闻名。在那个“天呐!!物联网攻击!我们都死定了”的时代,它是“物联网搜索引擎”的首选。Shodan 制定了全互联网OSINT数据的行业标准,并且你一定能在上面找到乐趣。
Shodan的优点:
l 因 API和许多模块以及语言集成而便于开发;
l 许多东西可集成到其他软件系统中(例如:标签、保存的搜索结果等)。
Shodan的缺点:
l 缺乏对付费客户的人力支持;
l 偶尔的特定搜索结果被刻意屏蔽很烦人;
l 在界面中没有过滤proto:tcp/udp的选项(虽然有一个,但没有记录,至少我没有发现关于它的任何信息)。
1.2 BinaryEdge 和ZoomEye 闪亮登场
BinaryEdge是一家瑞士公司,它进行全网范围内的扫描,并在博客上发布大量的结果、发现和报告(主要针对技术用户)。BinaryEdge对开放的mongodb / redis / memcache-databases的分析引起了我的注意,我大量引用过这些数据库。他们在开放平台方面迈出了巨大的一步,将其发展为一个具有广泛搜索、过滤和下载功能的OSINT工具,现在似乎能够与Shodan匹敌。
BinaryEdge 的优点:
l 更新新功能的速度快;
l 发表技术博客。
BinaryEdge 的缺点:
l 当他们将服务运用到其他解决方案中时,例如对开放端口的IP进行批量检查时,API调用的价格十分昂贵。每天用 BinaryEdge 检查50,000个IP肯定不便宜。
ZoomEye 由中国的知道创宇404实验室开发,他们还运营着出色的Seebug漏洞平台,并进行了大量的安全研究。ZoomEye于两年前引起了我的注意,当时我用它来代替Shodan,那时他们的结果并不像Shodan那么详细。然而在今年,出现了许多有趣的RCE漏洞时,我再次使用ZoomEye,发现他们已经可以提供相当可靠的搜索结果。
ZoomEye 的优点:
l 进步迅速,飞跃巨大;
l 项目背后极好的人力支持。
ZoomEye 的缺点:
l 需要用手机号完成注册。
2. 产品功能
纯OSINT任务的基本功能:
功能 |
SHODAN |
BINARYEDGE |
ZOOMEYE |
免费 API |
√ |
√ |
|
付费 API |
√ |
√ |
√ |
匿名用户访问 |
√ |
√ |
|
免费账号 |
√ |
√ |
√ |
组合过滤 |
√ |
√ |
√ |
下载搜索结果 |
有延迟 |
迅速 |
? |
结果的时效性 |
3-4天 |
几周内 |
? |
触发扫描 |
√ |
– |
? |
ASN搜索 |
√ |
||
漏洞关联 |
√ |
√ |
|
支持度 |
不太好 |
优秀 |
? |
搜索结果的截图如下:
Shodan:
BinaryEdge:
ZoomEye:
每种产品的优点:
共同点:
l 能够搜索和过滤不仅仅是IP和端口的信息;
l 可以呈现并搜索扫描时收集到的全部标题和信息(如cookie、serverheaders、versions);
l 下载全部搜索结果。
Shodan:
l 界面简洁,良好的深入挖掘和聚合功能,显示部分标题信息;
l 搜索结果与漏洞的关联良好。
BinaryEdge:
l 在进行大规模研究时,可进行ASN搜索无疑是一个巨大的优势;
l 实用的图像搜索功能。
ZoomEye:
l 历史记录触手可得,且可以限制特定时间的搜索;
l 搜索结果与漏洞的关联十分出色。
一旦你习惯了每个操作界面,就会发现它们的运行非常符合逻辑,并且便于开发。
3. 搜索结果
现在来看看有趣的部分:我检查了各种目标的搜索结果,比如漏洞相关服务和一般的服务/产品。
需要注意的是:
l 以下数据的有效日期截止到2019-06-09;
l ZoomEye的搜索结果已被过滤,只包含2019-01-01以后的搜索结果。
3.1 漏洞相关服务
我挑选了今年曝出的一些不错的RCE漏洞,将它们按日期进行升序排序,链接到了包含漏洞详情的文章,并给出了CVE。
DATE
VULN/CVE
SHODAN