python动态页面元素爬取_python动态爬取网页

简介

有时候，我们天真无邪的使用urllib库或Scrapy下载HTML网页时会发现，我们要提取的网页元素并不在我们下载到的HTML之中，尽管它们在浏览器里看起来唾手可得。

这说明我们想要的元素是在我们的某些操作下通过js事件动态生成的。举个例子，我们在刷QQ空间或者微博评论的时候，一直往下刷，网页越来越长，内容越来越多，就是这个让人又爱又恨的动态加载。

爬取动态页面目前来说有两种方法

分析页面请求

selenium模拟浏览器行为

1.分析页面请求

键盘F12打开开发者工具，选择Network选项卡，选择JS(除JS选项卡还有可能在XHR选项卡中，当然也可以通过其它抓包工具)，如下图

然后，我们来拖动右侧的滚动条，这时就会发现，开发者工具里出现了新的js请求(还挺多的)，不过草草翻译一下，很容易就能看出来哪个是取评论的，如下图

好，复制出js请求的目标url