实现抓取HTTPS握手时证书的客户端

Author Avatar
WoodyXiong 6月 14, 2019
  • 在其它设备中阅读本文章

前言

由于一些很神奇的原因,我们需要用PHP实现从指定的IP获取HTTPS握手时的证书信息,其实在实现这个客户端之前有两种可行的方法。

大概是脸黑的原因吧,这两种方法在这里放弃了,由于我们的线上服务器的CURL的版本过低,导致第一种方法无法实现,而直接升级的风险不可控,所以第一种方案就下马了。而第二种方案需要在线上服务器开启PHP的exec等危险函数,所以第二种方案也夭折了。最终只能自己动手实现PHP获取证书的轮子了,顺便填补下这方面的空白。

获取HTTPS通信握手信息

此处需要获取HTTPS握手的信息,才能模拟握手请求获取证书。当然这里可以去阅读RFC获取详细的HTTPS握手协议,为了节省时间,这里使用网卡抓包神器WireShark来获取HTTPS握手信息。

WireShark准备就绪之后,使用CURL命令直接获取证书,看看这几个包的交互到底发生了什么。具体抓包结果此处下载

大体抓包结果

这张图可以看到一共互相交互了11个包,大致的交互过程以及原理可以阅读使用wireshark分析https

我们详细来看Client Hello包具体干了什么。
Client Hello

此包首先生成随机数,大概是以供之后的DH算法生成对称秘钥,并且将自己支持的加密算法、需要访问的域名等信息发送给Server端。

为了实现可以自由获取任何域名的证书,我们将ww1.sinaimg.cn替换成其他的域名,并且将包的长度进行了适当的更改,以供解包不会发生错误。发现这样简单的更改域名确实是可以抓到不同域名的证书。

接下来我们继续分析……

Server Hello Done

上图显示Server端在接收Client Hello之后联系发送了4个包,而这4个包竟然需要拼在一起才能看到全貌。这4个包一共发送了一下4个信息:

  • Server Hello
  • Certificate
  • Server Key Exchange
  • Server Hello Done

以上4个信息只有Certificate信息才是最重要的,而按照HTTPS交互的报文头可以分辨出某一段中对应的是哪种信息。

分信息包图示

获取了HTTPS握手信息,紧接着就是使用代码落地实现获取证书了。

代码实现

实现TCP/IP客户端

首先引入眼帘的是PHP自带的socket,尽管经常听说被吐槽,但是毕竟是PHP的亲儿子,不试一试怎么行?

网上找PHPsocket代码一找一大堆,而且也是可用的。但是放在生产环境,这些函数都是被禁用的,开起来比较繁琐。紧接着我想用另外的线程或者进程来控制socket的通信时长,因为在TCP建连之后,无法控制客户端send以及recv的时长,但是开启PHP多线程和多进程异常麻烦,完全不推荐使用。接着就是使用大名鼎鼎的Swoole插件了。

chua!chua!chua!之后,一个SwooleTCPsocket客户端就搭建好了。

搭建Swoole

由于Swoole是只能在Linux/Mac下使用的,那么Windows电脑如何使用Swoole

当然是使用Docker呀,Docker真是个好东西,无论什么环境都可以超级快速的搭建,只要装上Docker就可以快速搭建任何复杂的环境并且编排出一个完整的工程,并且可以在本机上起多个项目。你敢相信部署一个项目,仅仅需要一个docker-compose.yml文件就可以搞定吗?这软件简直太棒了!

本项目使用了PHP7.2+Swoole4.3.1具体的Dockerfile此处,当然我更推荐你到Docker hub直接拉取我的镜像。

PhpStorm更是对Docker非常支持,这里可以指定PHP的解释器为Dockerfile中的。

phpstorm中配置Docker中的php

操作完成后,只要在PhpStorm中运行PHP就是Dockerfile中装了SwoolePHP

autoload自动引入程序

PHP在运行的时候使用了一个新的类,会使用自动加载机制引入PHP文件,但是这个自动加载机制一般需要人为设置如何引入,详见spl_autoload_register

这个小问题竟然困扰了我特别长的时间,因为一开始我写了spl_autoload_register程序,但是只能对本PHP文件生效,一旦跨到了别的PHP文件就无法进行自动引入。参考之前写的TinyPHP发现一般都是用的静态函数,而这样就可以保证其他地方可以调用成功,而最后的写法在CertCaptureTest.php中,这样就可以变成谁使用,就用谁的spl_autoload_register

实现解析TCP包的方式

WireShark分析可知,每个包的请求内容是树状结构,所以做了个类似树状结构的类来对节点进行解析,解析类在这里,程序在获取包TCP包的时候会解码包的内容并指向到不同的节点进行解析,而最终的证书节点在此处

Swoole中的协程

由于像监听的这种程序,容易发生超时的情况,所以需要另一个进程或者线程来进行处理定时,一旦发生超时,立马终止程序。而在Swoole中可以使用一种类似Go语言中的协程的东西,简单的来说,他可以一个用户线程中自动切换任务,比如说我开一个协程进行一个监听超时的死循环的任务,而另一个任务时作为客户端获取服务器的证书内容,当其中任意一个任务阻塞,程序可以全自动的切换到另一个任务。而作为我程序的一部分,一旦获取证书的客户端发生阻塞,一直在监听服务端发来的数据,此时协程会切换到一个超时检测的循环中,一旦发现超时了,则立刻终止程序。具体的超时检测和客户端放在Swoole-Cert-Capture/CertCapture.php:39

另外值得注意的是,Swoole的官方文档真的太晦涩了,并且界面和搜索功能不是特别友好,可能这就是不好推广的原因吧,虽然听说程序写的很牛逼,但是希望开源软件对开发者友好些,这样也易于传播。希望以后的我也能写出如此牛逼的程序。-_-||

添加Composer

这是我第一个真正的可以使用的PHP开源项目,当然希望能正规一点哈哈哈,为了这个竟然还上了MIT开源协议这样做的目的是搞的好像真的有人来用样的哈哈哈。

打包成Composer前提是你装上Composer程序,之后只需要在项目所在的路径输入以下命令,然后跟着指示填写即可生成Composer包。

composer init

既然你想传到Packagist上,你的项目总要是开源的放在github吧,随即可以在Packagist提交页面填入项目地址,即可在[Packagist]生成对应的代码包。你们可以进入我的Packagist项目,顺便点个关注打赏订阅哈哈哈。

Packagist

添加简单的CI/CD构建

这个步骤也是有些坎坷,我准备放到另一篇文章,欢迎关注。