xray Web 扫描器学习记录
长亭科技的 xray 扫描器的扫描效果还不错，在国内颇受好评，很有幸以前在长亭科技工作，技术氛围很好。扯得有点远了，话不多说，本文是是 xray 国光的学习记录，也可以当做新手的 xray 教程来用，不过我还是建议大家看看官方文档，只是国光我最近喜欢上了这种学习记录的感觉，学习效率很高。
简介
项目地址： https://github.com/chaitin/xray
长亭科技研发的一款完善的安全评估工具，支持常见 Web 安全问题扫描和自定义 POC，虽然 Github 有项目，但是不开源，只提供社区版本供大家使用。
基本使用
代理模式
生成 ca 证书
# 生成 ca 证书
➜ ./xray genca
# 在当前文件夹生成 ca.crt 和 ca.key 两个文件
ca.crt ca.key config.yaml xray将生成的 ca 证书导入到需要代理的设备即可，这样就可以方便代理 https 的流量了
启用代理
# 配置解释见 https://chaitin.github.io/xray/#/configration/mitm mitm: restriction: includes: # 允许扫描的域，此处无协议 - 'testphp.vulnweb.com' # 表示允许所有的域名和 path监听本地的
7777端口，并设置漏洞报告的输出的文件名为：xray-testphp.html➜ ./xray webscan --listen 127.0.0.1:7777 --html-output xray-testphp.html配置代理
Chrome 下的 SwitchyOmega 插件很方便添加各种代理，将xray的代理添加进来，然后浏览器开启 xray 代理即可:
开始扫描
使用刚刚设置过代理的 Chrome 浏览器访问：http://testphp.vulnweb.com
然后就可以看到 xray 界面开始输出漏洞信息，在用户和网站交互的时候，期间的连接 xray 都会进行安全检查，然后生成对应的漏洞报告:
下面是几个快速链接，可以点击用于体验更多的漏洞类型的扫描
http://testphp.vulnweb.com/listproducts.php?cat=1 http://testphp.vulnweb.com/artists.php?artist=2 http://testphp.vulnweb.com/redir.php?r=http://www.w3.org 可以在上面设置的输出格式里面看到对应的漏洞检测结果报告：
爬虫模式
爬虫模式是模拟人工去点击网页的链接，然后去分析扫描，和代理模式不同的是，爬虫不需要人工的介入，访问速度要快很多，但是也有一些缺点需要注意。
xray 的基础爬虫不能处理 js 渲染的页面 需要首先人工配置登录 cookie，必需的 http 头等，如果登录失败，也不容易发现问题 ➜ ./xray webscan --basic-crawler http://testphp.vulnweb.com/ --html-output xray-crawler-testphp.html在这个模式下，相当于主动扫描模式，自主分析页面的链接，然后自动探测是否有漏洞。
服务扫描
xray 也支持服务扫描，目前的服务扫描的POC还不够多，目前只有一个 tomcat-cve-2020-1938 ajp 协议任意文件检测poc。
参数配置目前比较简单，支持单个扫描与批量扫描:
# 快速检测单个目标 ➜ ./xray servicescan --target 127.0.0.1:8009 # 批量检查的 1.file 中的目标, 一行一个目标，带端口 ➜ ./xray servicescan --target-file test.file其中
test.file的格式为一个行一个 service，如10.3.0.203:8009 127.0.0.1:8009也可以将结果输出到报告中，支持多种格式：
# 将检测结果输出到 html 报告中 ➜ ./xray servicescan --target 127.0.0.1:8009 --html-output service.html ➜ ./xray servicescan --target-file test.file --html-output service.html # 将检测结果输出到 json 文件中 ➜ ./xray servicescan --target 127.0.0.1:8099 --json-output service.json完整的servicescan用法可以使用下面命令查看：
➜ ./xray servicescan --help NAME: servicescan - Run a service scan task USAGE: servicescan [command options] [arguments...] OPTIONS: --target value specify the target, for example: host:8009 --target-file value load targets from a local file, one target a line --json-output FILE output xray results to FILE in json format --webhook-output value post xray result to url in json format --html-output FILE output xray result to FILE in HTML formatAapache Tomcat AJP 文件包含漏洞（CVE-2020-1938）Vulhub环境链接
部署完成后，使用xray来检测看一下效果怎么样：
配置
命令详解
➜ ./xray -h USAGE: [global options] command [command options] [arguments...] COMMANDS: webscan Run a webscan task servicescan Run a service scan task poclint lint yaml poc reverse Run a standalone reverse server genca Generate CA certificate and key upgrade check new version and upgrade self if any updates found version Show version info help, h Shows a list of commands or help for one command GLOBAL OPTIONS: --config FILE Load configuration from FILE --log_level value Log level, choices are debug, info, warn, error, fatal --help, -h show helpGLOBAL OPTIONS
# 用于指定配置文件的位置，默认加载同目录的 config.yaml --config FILE Load configuration from FILE # 用于指定全局的日志配置，默认为info， 可以设置为debug查看更详细的信息 --log_level value Log level, choices are debug, info, warn, error, fatal --help, -h show help全局配置的使用时需要紧跟二进制程序，如:
# 正确的用法 ➜ ./xray --log_level debug --config my.yaml webscan --url xxx # 错误的用法 全局配置没有紧跟二进制程序 ➜ ./xray webscan --log_level debug --config my.yaml --url xxxCOMMANDS
subdomain
扫描
example.com，并将结果输出到 example.txt➜ ./xray subdomain --target example.com --text-output example.txtCopyErrorCopied扫描
example.com,并使用 console ui 交互式界面，同时记录结果到 example.txt➜ ./xray subdomain --target example.com --console-ui --text-output example.txtwebscan
➜ xray ./xray webscan -h NAME: webscan - Run a webscan task USAGE: webscan [command options] [arguments...] OPTIONS: --plugins value specify the plugins to run, separated by ',' --poc value specify the poc to run, separated by ',' --listen value use proxy resource collector, value is proxy addr --basic-crawler value use a basic spider to crawl the target and scan the results --url-file FILE read urls from a local file and scan these urls --url value scan a **single** url --data value data string to be sent through POST (e.g. 'username=admin') --raw-request FILE load http raw request from a FILE --json-output FILE output xray results to FILE in json format --html-output FILE output xray result to FILE in HTML format --webhook-output value post xray result to url in json format--plugins: 指定要运行的插件，使用,分隔--plugins xss --plugins xss,sqldet,phantasm--poc:配置本次扫描启用哪些POC，使用,分隔# 只加载一个 POC, 精准匹配 --plugins phantasm --poc poc-yaml-thinkphp5-controller-rce # 加载内置的所有带 `thinkphp` 的 POC --plugins phantasm --poc "*thinkphp*" # 加载本地 `/home/test/pocs/` 目录所有的 POC: --plugins phantasm --poc "/home/test/pocs/*" # 加载 `/home/test/pocs/` 下包含 thinkphp 的 POC --plugins phantasm --poc "/home/test/pocs/*thinkphp*"--listen: 启动一个被动代理服务器作为输入，如--listen 127.0.0.1:7777--basic-crawler: 启用一个基础爬虫作为输入， 如--basic-crawler http://example.com--url-file: 批量从文件中读取URL--url: 用于快速测试单个URL，不带爬虫，默认为GET请求--data:指定 data，同时变为POST请求--raw-request: 加载一个原始的 HTTP 请求并用于扫描，类似于sqlmap -r--json-output: 将结果输出到一个 json 文件中，输出是JSON格式的结构化数据--html-output: 将结果输出为 html 报告--webhook-output: 将结果发送到一个地址，输出是JSON格式的结构化数据，需要自己搭建一个Web服务器，接收到xray发送的漏洞信息组合使用
将上面说的一些结合起来使用，就可以满足多种场景下的使用需求了:
# 使用xss模块 启用1111端口的代理服务器进行web漏洞扫描，输出漏洞报告到1.html中 ➜ ./xray webscan --plugins xss --listen 127.0.0.1:1111 --html-output 1.html # 将日志级别设置为debug 然后使用xss和命令执行插件 使用内置的爬虫来扫描，输出漏洞报告到1.json中 ➜ ./xray --log_level debug webscan --plugins xss,cmd_injection --basic-crawler http://example.com --json-output 1.json # 对目标资产进行POST方式漏洞检测，data为 x=y 并输出漏洞报告到1.json中 ➜ ./xray webscan --url http://example.com --data "x=y" --html-output 2.html --json-output 1.json # 对目标资产进行单个URL检测，路灯报告输出到指定的接受服务器中 ➜ ./xray webscan --url http://example.com/ --webhook-output http://host:port/path交互命令行
交互式的命令行就是新手福利了，提供命令自动补全提示，直接运行 xray 而不加任何参数即可启动交互式命令行。
配置文件
引擎初次运行时，会在当前目录内生成一个
config.yaml文件。通过调整配置中的各种参数，可以满足不同场景下的需求。在 xray 快速迭代时期，不保证配置文件向后兼容。如果出错，可以备份配置文件并重新生成。 实际上建议每次更新版本后都备份配置文件后删除并重新生成，以免错过新功能的配置。
插件配置
sqldet, xss, cmd_injection 同时处理 request1 sqldet, xss, cmd_injection 同时处理 request2 sqldet, xss, cmd_injection 同时处理 request3sql,xss,cmd_injection 同时并发(3并发)处理 request1, request2, request3理论上时间会算缩短3倍，但这个值并非越大越好，高并发意味着同一时间发包数量大幅增加，这可能会影响远程 server 的运行和xray 对漏洞的判断，需要按需设置。
对于其他配置项，一个插件是一个配置单元，每个单元的基本格式为:
pluginName: enabled: true/false otherConfigrations: xxx
enabled即为是否启用插件，所以这里只说明部分插件的特殊配置就可以了。ie_feature如果此项为 true，则会将一些只能在IE环境下复现的漏洞爆出来，小白请不要开。include_cookie如果此项为 true, 则会检查是否存在输入源在 cookie 中的 xssbaseline
detect_outdated_ssl_version是否检测过期的 SSL 版本, 如果目标启用了 TLS1.1, TLS1.0, SSL3.0 都是会报一个漏洞detect_http_header_config是否检查 header 的配置，主要检查一些安全相关的 http 头有没有确实或错误detect_cors_header_config是否检查 cors 相关的问题detect_server_error_page检查响应是不是一个错误页面, 支持主流框架的错误信息检测detect_china_id_card_number检查响应中有没有身份证号信息detect_serialization_data_in_params检查参数中是否存在序列化数据，支持 java，php，pythondetect_cookie_password_leak检测cookie中是否存在密码泄漏detect_unsafe_scheme检测不安全方案detect_cookie_httponly检测cookie是否开启httponlycmd_injection
detect_blind_injection是否使用盲打来检查命令注入dirscan
dictionary配置目录字典, 需要是绝对路径dictionaryWeb字典的路径sqldet
error_based_detection启用报错注入检测boolean_based_detection启用布尔盲注检测time_based_detection启用时间盲注检测下面两个选项很危险，开启之后可以增加检测率，但是有破坏数据库数据的可能性，请务必了解工作原理之后再开启
dangerously_use_comment_in_sql允许检查注入的时候使用注释dangerously_use_or_in_sql允许检查注入的时候使用orbrute_force
phantasm: poc: - poc-yaml-activemq-cve-2016-3088 - /Users/test/1.yml被动代理配置
抓取HTTPS流量
和 burp 类似，抓取 https 流量需要信任一个根证书，这个根证书可以自行生成，也可用下列自带的命令生成:
➜ ./xray genca运行后将在当前目录生成
ca.key和ca.crt， 用户手动导入证书即可，类似于BP导入证书那样。Firefox需要单独在浏览器导入。移动端可以挂代理之后访问 http://xray/ 下载根证书
代理启用密码保护
xray 支持给代理配置基础认证的密码，当设置好
auth中的username和password后，使用代理时浏览器会弹框要求输出用户名密码，输入成功后代理才可正常使用。限制漏洞扫描的范围
在 mitm 的配置中的
restrction项指示本次漏洞的 URI 限制。includes表示只扫描哪些域和路径。比如*.example.com只扫描example.com的子域excludes表示不扫描哪些域和路径。比如t.example.com表示不扫描t.example.com两个都配置的情况下会取交集，这两个配置常用于想要过滤代理中的某些域，或者只想扫描某个域的请求时。
两项配置都支持 path 过滤，如果输入的中有
/, 那么/后面的表达式就是 path 的过滤。可以对照如下例子理解:includes: - 'example.com/test' # 表示允许 example.com/test 这一个路径 - "example.com/admin*" # 表示允许 example.com 下的 /admin 开头的所有 path注意： 这里的 includes 和 excludes 均不支持端口号，如果加上将导致限制失效！
设置代理的IP白名单
配置中的
allow_ip_range项可以限制哪些 IP 可以使用该代理。支持单个 IP 和 CIDR 格式的地址，如：allow_ip_range: ["127.0.0.1","192.168.1.1/24"]CopyErrorCopied留空则允许所有地址访问，如果来源 IP 没有在配置的地址内，使用者则会报
Proxy Failed的错误。队列长度配置
queue: max_length: 10000代理请求头配置
proxy_header: via: "" # 如果不为空，proxy 将添加类似 Via: 1.1 $some-value-$random 的 http 头 x_forwarded: false # 是否添加 X-Forwarded-{For,Host,Proto,Url} 四个 http 头如果开启 proxy_header，代理会添加
via头和X-Forwarded-*系列头。如果在请求中就已经存在了同名的 HTTP 头，那么将会追加在后面。比如
curl http://127.0.0.1:1234 -H "Via: test" -H "X-Forwarded-For: 1.2.3.4" -v，后端实际收到的请求将会是GET / HTTP/1.1 Host: 127.0.0.1:1234 User-Agent: curl/7.54.0 Accept: */* Via: test, 1.1 xray-1fe7f9e5241b2b150f32 X-Forwarded-For: 1.2.3.4, 127.0.0.1 X-Forwarded-Host: 127.0.0.1:1234 X-Forwarded-Proto: http X-Forwarded-Url: http://127.0.0.1:1234/ Accept-Encoding: gzip代理的代理
盲打平台配置
这里知识点比较多，反向盲打平台很多，如果大家对xray的这个功能感兴趣建议参考xray的官方文档，国光这里就不细写了。
HTTP配置
对于 web 扫描来说，http 协议的交互是整个过程检测过程的核心。因此这里的配置将影响到引擎进行 http 发包时的行为。
漏洞扫描用的代理
proxy配置该项后漏洞扫描发送请求时将使用代理发送，支持
http,https和socks5三种格式，如:http://127.0.0.1:1111 https://127.0.0.1:1111 socks5://127.0.0.1:1080基础爬虫配置
基础爬虫的配置项对应于
basic-crawler部分，默认的配置如下，用法参照文件中的注释basic_crawler: max_depth: 0 # 爬虫最大深度, 0 为无限制 max_count_of_links: 0 # 本次扫描总共爬取的最大连接数， 0 为无限制 allow_visit_parent_path: false # 是否允许访问父目录, 如果扫描目标为 example.com/a/， 如果该项为 false, 那么就不会爬取 example.com/ 这级目录的内容 restriction: # 和 mitm 中的写法一致, 有个点需要注意的是如果当前目标为 example.com 那么会自动添加 example.com 到 includes 中。 includes: [] excludes: - '*google*'子域名配置
国光测试了这个子域名功能，可以用，但是不是很强大，不如自己采集多方面接口的域名要全，感兴趣可以参考官方文档。
检查更新配置
xray 内置了一个简单的更新检查机制，会在每次启动的时候检查有无新的版本发布，如果有更新将在界面上显示最新的 release notes。 如不需要该机制，可以通过下列方法禁用:
在
config.yaml中添加如下配置即可禁用更新检查:update: check: falsexray 进阶
xray 与 Burpsuite 联动
➜ ./xray webscan --listen 127.0.0.1:7777 --html-output bp.html进入 Burp 后，打开
User options标签页，然后找到Upstream Proxy Servers设置。点击
Add添加上游代理以及作用域，Destination host处可以使用*匹配多个任意字符串，?匹配单一任意字符串，而上游代理的地址则填写 xray 的监听地址。接下来 BP 正常抓包，与此同时 BP 也会将我们截取到的一些流量包发到 xray 中进行漏洞检测。
xray 与 AWVS 联动
如果你的AWVS不是安装在物理机上话，那么你的xray应该填写你AWVS可以访问的地址 国光测试填写127.0.0.1 无法与AWVS进行联动
➜ ./xray webscan --listen 192.168.31.53:7777 --html-output awvs.html以 AWVS 13 为例，登入管理页后，点击
Targets, 然后点击Add Target添加扫描目标:这里演示的是扫描 awvs 的在线靶站 http://testphp.vulnweb.com/
下滑到
HTTP部分，填写Proxy Server为对应的xray代理，因为国光的AWVS是在虚拟机运行的，所以我这里填写的是我物理机的 ip地址（之前粗心写127.0.0.1了没有啥反应）：最后扫描类型选择 仅爬取：
此时 AWVS 的爬虫会把请求都转发给 xray 检测漏洞了，此时
awvs.html里面就躺好了漏洞：Django调用xray
➜ ./xray webscan --listen 192.168.31.53:7777 --webhook-output http://127.0.0.1:8000/scan/xray/
http://127.0.0.1:8000/scan/xray/这个是国光用 Django 写的接口，下面是这个接口简单的实现代码：import json from django.shortcuts import render from django.views.generic.base import View from django.views.decorators.csrf import csrf_exempt class WebHook(View): @csrf_exempt def dispatch(self, request, *args, **kwargs): return super().dispatch(request, *args, **kwargs) def post(self, request): vul_data = json.loads(request.body) if 'detail' in str(request.body): print('漏洞插件:', vul_data['plugin']) print('漏洞位置:', vul_data['target']['url']) print('漏洞分类:', vul_data['vuln_class']) return render(request, 'test.html', {因为Django安全机制问题，xray post提交请求到Django必须填写CSRF Token才可以，解决方法就是手动关掉这个类的CSRF检测
@csrf_exemptxray 安全评估工具文档 支持一下
webscan xray核心功能，用来发现探测Web漏洞 servicescan 服务扫描功能 用来探测服务漏洞 poclint 检测poc是否符合规范 reverse 启动单独的盲打平台服务 genca 用于快速生成一个根证书，主要用于被动代理扫描HTTPS流量时用到 upgrade 检查新版本并自动升级 version 显示命令列表或一个命令的帮助 subdomain 子域名扫描 高级本才有的命令