为什么网上Python爬虫教程这么多，但是做爬虫的这么少呢？爬虫发展又该是如何呢？
分两部分来说。
1、爬虫教程多：
确实，因为只考虑爬取逻辑的话，爬虫逻辑很简单，无非就是构造请求、发送请求、 解析响应、获得数据四步，可能四行代码就搞定了。因为简单，而且获得的数据又很好展示，所以网上会有很多简单的爬虫教程。起个吸引眼球的名字，比如小姐姐、磁力链等等，下面留言的会有一大把，越简单的东西，门槛越低，自然教程越多了。
2、做爬虫的少：
其实业务上，爬虫的需求不少，但是专职做爬虫的却不多。
一方面，基础的爬虫简单，普通的开发都能通过很短时间的学习胜任简单的爬虫任务，我身边不少朋友，前后端数据分析AI工程师，时不时都会写点爬虫，因为如果不是完全靠数据驱动的公司，对于数据的需求并没那么大，并不需要专人专岗来写爬虫；
另一方面，大规模 数据爬虫的技术难度成倍增加，对于复杂爬虫而言，如何进行大规模数据的爬取和存储，或者如何绕过复杂的认证，这都不是容易搞定的，需要熟悉分布式的架构和使用、网络底层协议、各类网站前后端架构及数据加密方式、甚至要有网络安全攻防的功底，网上的基础教程哪会教你这些。
很多人看不起爬虫这个活，甚至在我当初找工作面试的时候，也有面试官问我：“如果很多时候，你的工作只是应对对方网站页面结构的变化，不断修改 解析代码，你还会觉得这个事情有意思吗？”
可现在，当我工作了近一年，回想起这段时间的工作，却一点也不觉得乏味：加密数据不好拿，别人可能就通过模拟浏览器来拿数据，我就非得人肉debug，从混淆代码里找到加密js，改写成python来执行；网页数据不好抓，我用手机抓包，走 websocket协议来拉数据；一台服务器带宽占满，我设计分布式爬虫，自己设计集群方案，开多台服务器并行爬数据；平时运维看日志麻烦，我自己写一个交互式的网页来监控手下爬虫运行情况。
每一次攻破对方的反爬系统，每一次优化代码，每一次看自己设计的方案获得了更好的效果，都能给我带来非凡愉悦，爬虫只是 网络数据的搬运工，但是同样是搬运工，有人用手，有的人推起车，有的人却能开起飞机；只要有心，通过最简单的爬虫工作一样能够丰富自己的技术栈。
此外，爬虫工作很大一部分时间是在维护代码，查看数据是否成功爬下。这样的工作：首先，给你提供了很多时间用来学习，其次，你又能直接面对第一手数据，为你学习数据分析数据挖掘提供很大的便利，最后，你直接面对各种业务部门的数据需求，这对于你学习了解数据产品也有很大的益处。
网上教程多，是因为入门简单，容易获得成就感，容易忽悠小白
爬虫就是因为太有技术含量，所以会的人少，可能看起来做的人就少了
爬虫远比我们想的复杂
大多数人会的，只是造一颗螺丝钉，而整个爬虫系统，就好比造火箭
大多数人，只掌握了入门级的水品，也就是最多能造个螺丝钉，造不出火箭
为什么我说爬虫远比我们想的复杂呢？
爬虫绝不是表面的 用requests、urllib，发个http请求那么简单
就如同 楼上的几位回答者所说，如果只是发个http请求，根本用不着专门来学，随便找个火车头之类的工具，拖几下鼠标就搞定了
实际情况中，你要抓人家的数据， 会有很多门槛：
1.人家检测出你是爬虫，拉黑你IP （人家究竟是通过你的ua、行为特则 还是别的检测出你是爬虫的？你怎么规避？）
2.人家给你返回脏数据，你怎么辨认？
3.对方被你爬死，你怎么设计调度规则？
4.要求你一天爬完10000w数据，你一台机器带宽有限，你如何用分布式的方式来提高效率？
5.数据爬回来，要不要清洗？对方的脏数据会不会把原有的数据弄脏？
6.对方的部分数据没有更新，这些未更新的你也要重新下载吗？怎么识别？怎么优化你的规则？
7.数据太多，一个数据库放不下，要不要 分库？
8.对方数据是JavaScript渲染，那你怎么抓？要不要上PhantomJS？
9.对方返回的数据是加密的，你怎么解密？
10.对方有 验证码，你怎么破解？
11.对方有个APP，你怎么去得到人家的数据接口？
12.数据爬回来，你怎么展示？怎么可视化？怎么利用？怎么发挥价值？
13. 等等 ......
你看，一个强大的爬虫，涉及很多学科的知识，是一门很大的学问
你要：
- 学 http协议，知道哪个协议可以帮你省带宽和时间
- 学数据库，不然咋存数据，咋优化？数据库分布式也要了解一点吧？
- 学算法，基本的调度算法， 爬虫调度也要了解吧？
- 学分布式、学redis，分布式总要懂一点，不然爬虫怎么协作呢？
- 学JavaScript，不然你怎么看懂人家的数据是怎么处理的，不然你怎么反向解析？
- 基本的解密破解知识要懂吧？
- 验证码破解要懂吧？机器学习要懂吧？现在破解验证码都上机器学习了！
- ios开发要学吧？安卓开发也要学吧？不然怎么反编译人家的app去拿人家隐藏的接口加密算法？
- 等等 ......
你看，这设计多少知识了，每一个知识点，基本都是一个学科，都不是几本书能解决的
一个人，想精通这些，是十分困难的，所以一般是团伙协作作案
你负责端茶递水、我负责解密他的接口、另外的同事负责写代码，搞数据库，破解验证码 等等
你问一个人能做出这么强大的东西吗？
可以，在有一定知识储备的情况下，用人家的轮子，是完全可以搭建起来的
所以，网上的爬虫教程，无法把这些系统的讲给你听，就好比你想学赚钱，谁又能给你一个系统的教程呢？
你想上班赚钱，还是想卖豆腐赚钱？
卖什么豆腐？
什么价格？
店铺开哪里？
要不要请人？
不知道！
其实我上面列出的每个知识块，网上都有，零零散散的而已
你需要自己去辨别，整合这些知识，然后为你所用
现在你明白为什么网上的教程，都不够系统，不够深入了吧
因为这很难，涉及到的学科知识太多了
如果你希望你的python水平提高，可以关注我呀，我的所有回答可都是高质量的，绝不废话