搜索引擎爬虫 （又被称为网页蜘蛛，网络机器人），是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本。

网站对搜索引擎蜘蛛不友好的因素

1、robotx.txt文件

2、nofollow标签

3、flash

4、图片

5、JavaScript

6、网站游览权限

7、强制使用cookies

8、HTTP返回码

9、服务器

10、域名解析

11、网站程序完善

12、动态URL

13、框架结构

14、session id

网站建设如何吸引蜘蛛来抓取网站内容

1、网站和页面的权重大小依然被作为衡量网站价值的重要标准，高质量老资格的网站被百度评为高权重，这种网站的页面被蜘蛛抓取的机率比较高，所以会有很多内页被收录。

2、页面更新频率会直接影响蜘蛛的光临频率，蜘蛛把每次光临获得的页面数据保存到服务器上，如果下次光临页面发现内容跟储存数据相同，那么会被蜘蛛认为页 面不会经常更新，然后会给网站一个优先级，来决定以后光临的时间和频率。如果网站内容经常更新，每次蜘蛛抓取的内容都不一样，那么蜘蛛会更加频繁的访问这 类页面，页面出现的新连接也自然会被爬取收录。

3、引导链接的建立，无论网站的外部链接或内部链接，想要被蜘蛛抓取，必须有引导链接进入页面，所以内部链接的合理性搭建非常重要，否则蜘蛛无法发现页面的存在。高质量的外部链接导入也是非常重要的，会增加蜘蛛跟踪爬行深度的增加。

4、建立首页的引导链接，蜘蛛访问最频繁的是首页，有内容更新时，一定要在首页体现出来并建立链接，便于蜘蛛最快抓取到，增加抓取机会。

5、原创内容，蜘蛛最厉害的是会对网站新发布内容同服务器收录数据做比对，如果是抄袭或部分修改的非原创伪原创内容，百度是不会收录的，如果经常发布的是非原创内容，那么也会降低蜘蛛的光临频率，严重的直接不收录，甚至0收录。

常见搜索引擎爬虫

Google爬虫

算法优秀，反应速度迅速，对内容质量把握优秀，中等强度爬虫程序，对服务器负担不大，推广效果好。

对应user-agent：爬虫名称

Googlebot：google网页爬虫

Googlebot-news：google新闻爬虫

Googlebot-image：google图片爬虫

Googlebot-video：google视频爬虫

Googlebot-mobile：google移动爬虫

Mediapartners-google或Mediapartners(googlebot)：google广告爬虫

Adsbot-google：google着陆页质量检测爬虫

百度爬虫

算法良好，反应速度迟钝，对内容质量把握一般，高强度爬虫程序，由于算法优化不良问题，对服务器负担较大，本身小问题也挺多，隐私保护恶劣，在百度面前无隐私可言，推广效果好。

对应user-agent：爬虫名称

Baiduspider：百度网页爬虫兼移动爬虫

Baiduspider-image：百度图片爬虫

Baiduspider-video：百度视频爬虫

Baiduspider-news：百度新闻爬虫

Baiduspider-favo：百度搜藏爬虫

Baiduspider-cpro：百度联盟爬虫

Baiduspider-ads：百度商务爬虫

好搜（即360）爬虫

对应user-agent：爬虫名称

360spider或haosouspider：好搜网页爬虫兼移动爬虫

360spider-image：好搜图片爬虫

360spider-video：好搜视频爬虫

搜狗爬虫

算法恶劣，反应速度极其迟钝，不能良好的把握内容质量，高强度爬虫程序，由于算法奇差，会对页面进行大量反复而又无实际意义的扫描，对服务器负担很大，抓取压力大，综合性价比非常低。

对应user-agent：爬虫名称

Sogou spider：搜狗综合爬虫

新浪爱问爬虫

对应user-agent：爬虫名称

Iaskspider：新浪爱问爬虫

有道爬虫

对应user-agent：爬虫名称

YodaoBot：网易有道爬虫

Alexa爬虫

对应user-agent：爬虫名称

ia_archiver：Alexa爬虫

雅虎爬虫

对应user-agent：爬虫名称

Yahoo! Slurp：雅虎爬虫

必应爬虫

对应user-agent：爬虫名称

Bingbot：必应爬虫

网址均为系统搜集，非人工收集,网址可能存在访问风险或法律风险，请自行甄别，参考资料秀友百科吴清
上面的文章就是搜索引擎爬虫 的内容了，文章的版权归原作者所有，如有侵犯您的权利或违规，请及时联系本站删除，更多相关yodaobot的资讯，请关注收藏西西软件网。