搜索引擎及搜索引擎蜘蛛都有哪些？

今天BTV导航网的小编为你讲一下搜索引擎及搜索引擎蜘蛛都有哪些？相关的内容。

搜索引擎及搜索引擎蜘蛛是什么？

我在实战培训第一课讲搜索引擎基本工作原理时，都会给新人讲搜索引擎是什么，然后再来讲，搜索引擎蜘蛛是什么。那么，在这里再讲一下。主要分类如下：

1、按国内与国外分

国内：百度、搜狗、360、神马（UC）、头条等；国外： google、bing、yahoo、yandex(俄罗斯 )等。

2、按PC与移动端分

PC：google、bing、yahoo、百度、搜狗、360

移动：神马、头条

PC+移动都有： google、bing、yahoo、百度、搜狗

当然除了上面介绍的通用搜索引擎，其实还有一些垂直的搜索引擎。比如像搜文库的豆丁网，搜索工作的职友集等等。

各个搜索引擎蜘蛛是什么？

这里的【蜘蛛】非生活现实中的蜘蛛，我们只是把搜索引擎去爬取各网页内容那个代码我们形象的称它为蜘蛛。

如何识别百度搜索引擎蜘蛛呢？

其实，很多新人SEO同学很少接触到搜索引擎蜘蛛，即使百度蜘蛛也未必能接触到。即使接触到了，也不知道它是不是。为什么呢？因为很多SEO新人没有分析网站日志，所以没看到。

如果你有分析过网站日志的话，就应该见过百度蜘蛛了（baiduspider）。

目前百度UA（useragent简称，即用户）分为移动、PC、和小程序三个应用场景来访，这三个渠道UA分别如下：

移动UA：

Mozilla/5.0(Linux;u;Android4.2.2;zh-cn;)AppleWebKit/534.46 (KHTML,likeGecko)Version/5.1MobileSafari/10600.6.3

(compatible;Baiduspider/2.0;

+http://www.baidu.com/search/spider.html)

或

Mozilla/5.0 (iPhone;CPUiPhoneOS9_1likeMacOSX) AppleWebKit/601.1.46 (KHTML, like Gecko)Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0;+http://www.baidu.com/search/spider.html)

PC UA：

Mozilla/5.0(compatible;Baiduspider/2.0;

+http://www.baidu.com/search/spider.html)

或

Mozilla/5.0(compatible;Baiduspider-render/2.0;

+http://www.baidu.com/search/spider.html)

小程序UA：

Mozilla/5.0(iPhone;CPUiPhoneOS9_1likeMacOS X) AppleWebKit/601.1.46 (KHTML, like Gecko)Version/9.0 Mobile/13B143 Safari/601.1 (compatible;Baiduspider-render/2.0;Smartapp; +http://www.baidu.com/search/spider.html)

如果UA信息不对，可以直接判断为非百度搜索的蜘蛛。关于日志分析，可以看文尾相关推荐文章。

网站HTTP状态码是什么意思？有哪些？

网站的HTTP状态码是用以表示网页服务器超文本传输协议响应状态的3位数字代码。

文章来源：白杨seo

来源地址：https://www.baiyangseo.com/blog/189.html

通过对搜索引擎及搜索引擎蜘蛛都有哪些？的详细介绍，希望对你有所帮助，我们提供了更多和搜索引擎及搜索引擎蜘蛛是什么？类似的相关内容推荐，可以你更全面的帮助你解决问题。我们BTV85网址导航还提供网址收录服务，你可以注册提交你的网站信息，帮你引导搜索引擎蜘蛛，同时还有网站SEO优化交流微信群，里面很多SEO高手和大咖，加友链，可以免费进群。