网络营销之SEO学习：搜索引擎的规则和目录
学习知识点：做SEO一定要了解搜索引擎的规则，我们在优化的过程中，不仅仅要满足用户的体验度，更要有这个基础上，尽量的满足搜索引擎的需求，才能达到优化的最大程度。
1.蜘蛛爬行规则
蜘蛛是指搜索引擎在进行爬行和抓取的昵称，、搜索引擎进行工作的第一步：收集网站数据的任务，将收集到的网站数据存放到索引库当中。
2.各大搜索引擎的蜘蛛
搜索引擎在爬行和抓取的程序被称为蜘蛛（spider）或者是机器人（bot）。
蜘蛛在进行爬行和抓取的过程中，首先会对网站发出访问请求，接收到网站服务器发出的请求后，返回HTML代码，蜘蛛再进行对收到的数据进行保存到原始数据库，为了增加抓取的速度，一般情况下，蜘蛛会多只进行爬行和抓取。
蜘蛛再爬行的过程中，并不是网站的所有程序都可以进行爬行和抓取的，蜘蛛进入网站的时候，首先会进行对网站的robots.txt文件进行访问，在得到robots文件授权和禁止的文件访问代码后，在进行访问。
（1）百度蜘蛛：Baiduspider/Baiduspider-image这个百度旗下抓取图片的蜘蛛。
常见百度旗下同类型蜘蛛还有下面这些：Baiduspider-mobile（抓取wap）、Baiduspider-image（抓取图片）、Baiduspider-video（抓取视频）、Baiduspider-news（抓取新闻）。
注：以上百度蜘蛛目前常见的是Baiduspider和Baiduspider-image两种。
（2）谷歌蜘蛛：Googlebot/Googlebot-Mobil抓取wap内容的。
（3）360蜘蛛：360Spider
（4）SOSO蜘蛛：Sosospider
（5）雅虎蜘蛛：“Yahoo! Slurp China”或者Yahoo!
（6）有道蜘蛛：YoudaoBot，YodaoBot（
（7）搜狗蜘蛛：Sogou News Spider,搜狗蜘蛛还包括如下这些：Sogou web spider、Sogou inst spider、Sogou spider2、Sogou blog、Sogou News Spider、Sogou Orion spider
（8）MSN蜘蛛：msnbot，msnbot-media
（9）必应蜘蛛：bingbot 线上(compatible; bingbot/2.0;)
（10）一搜蜘蛛：YisouSpider
（11）Alexa蜘蛛：ia_archiver
（12）宜sou蜘蛛：EasouSpider
（13）即刻蜘蛛：JikeSpider
（14）一淘网蜘蛛：EtaoSpider
(15）今日头条的搜索引擎(Bytespder)，也是2019年8月份左右的黑马，在查看你日志的时候，如果有遇到这类英文的爬虫，一定要注意咯，今日头条的爬虫还是很凶猛的。
我们通常通过robots进行对网站权限的设置，用来针对蜘蛛的爬行权限，一方面是用来节约流量，一方面也能更精确的针对主流的搜索引擎进行权限抓取，避免搜索引擎做出无用功，而且了解这些爬虫的名字，也可以让我们在分析数据日志的时候，更清楚爬虫的动向。
文章被以下专栏收录
