基于Fiddler Selenium Requests的万用爬虫技术

Fiddler Selenium用于测试，本主在若干年前，遇到过JS动态加密网页文本的Web，最终祭出大杀器Selenium搞定，缺陷就是速度慢。而且，因为Selenium只能自动提供Cookies，不能给出完整的headers，所以，没有将三者结合起来使用。现在，可以通过换请求头，实现当年github F**k-login的功能，具体实现如下：

技术实现

为了保证请求状态延续性，使用selenium进行手动登录QQ群官网；有些网站，在退出当前浏览器，就会更新cookies，退出登录状态。然后使用Filler再次获取目标网址的请求参数，重新构造Get\Post请求：

该方法适用于页面非JS动态加密文本的任一网站（大部分网站不会这么变态，现在更多网站都是基于前后端分离调用API实现内容展示）。很轻松获取到了某QQ群的成员信息，如下：

原始网页：

小结

不要一开始就想着多进程、分布式爬虫等等，做一个网站不容易，希望恪守爬虫职业道德，低速获取自己用的信息。

事实上，基于该换头技术，集合对爬虫感兴趣的朋友，打包出售有用的头部以下爬虫代码，这个Idea可行性非常大。感兴趣可以加入下面的圈子：