5、网页爬虫 Web Scraper 教程--通用操作步骤
以下所说的步骤,是 Web Scraper 插件的通用步骤,适用于任何一个浏览器上的网页。
1、打开Web Scraper:
打开Goog Chrome--右键检查--点击Web Scraper插件
2、创建sitemap:
3、设置selector:
单击Add new selector 进入设置
4、启动爬虫:抓取过程中窗口不能关,可以将窗口最小化。支持多线程并发
5、导出到本地:导出文件为.CSV文件,这是Web Scraper的默认文件类型,改不了,可以直接用Excel打开。
以上5个步骤中,1、2、4、5的操作都是一样的,唯一不同的就是第3步。不同的网站,抓取不同的文件类型,都是在第三步调整。selector设置中的type选项中就有文本、链接、图片、表格等类型选择:
详细教程点击下方视频:
Web Scraper 教程--通用操作步骤https://www.zhihu.com/video/1551897229505630208