搜索引擎蜘蛛
每个平台都可以禁止百度蜘蛛的。
每个网站的根目录下面都有一个叫robots.txt的文档，没有自己建立一个
禁止所有蜘蛛抓取写法：
User-agent: *
Disallow: /
禁止百度蜘蛛抓取：
User-agent: baiduspider
Disallow: /
至于你说的有哪些平台，比如淘宝的就是屏蔽了百度蜘蛛抓取的。
以上内容为创旅提供，谢谢！
目录类搜索引擎有哪些
问题一：目录索引类，元，全文搜索引擎有哪些？ 搜索引擎按照工作方式可以分为三类：1、目录搜索引擎：目录搜索引擎主要有yahoo！、LookSmart、About、DMOZ、Galaxy等。2、全文搜索引擎：全文搜索引擎主要有Google、百度、AltaVista、Inktomi、Alltheweb等。3、元搜索引擎：元搜索引擎主要有InfoSpace、Dogpile、Vivisimo、北大天网、搜狐、Lycos、Meta crawler等。
问题二：目录索引类搜索引擎有哪些 一般是分普通网站内容和音乐两种 百度 google Yahoo雅虎 搜狐搜索 新浪搜索 网易搜索 中搜 天网搜索 中华搜索 极限搜索 网蛙搜索 3721搜索 QQ搜索 TOM搜索
问题三：目录索引搜索引擎有哪些 百度 google Yahoo雅虎 搜狐搜索 新浪搜索 网易搜索 中搜 天网搜索 中华搜索 极限搜索 网蛙搜索 3721搜索TOM搜索
问题四：目录搜索用什么搜索引擎 搜索引擎按其工作方式主要可分为三种，分别是全文搜索引擎（Full Text Search Engine）、目录索引类搜索引擎（Search Index/Directory）和元搜索引擎（Meta Search Engine）。
全文搜索引擎是名副其实的搜索引擎，国外具代表性的有Google、Fast/AllTheWeb、AltaVista、Inktomi、Teoma、WiseNut等，国内著名的有百度（Baidu）。它们都是通过从互联网上提取的各个网站的信息（以网页文字为主）而建立的数据库中，检索与用户查询条件匹配的相关记录，然后按一定的排列顺序将结果返回给用户，因此他们是真正的搜索引擎。
从搜索结果来源的角度，全文搜索引擎又可细分为两种，一种是拥有自己的检索程序（Indexer），俗称“蜘蛛”（Spider）程序或“机器人”（Robot）程序，并自建网页数据库，搜索结果直接从自身的数据库中调用，如上面提到的7家引擎；另一种则是租用其他引擎的数据库，并按自定的格式排列搜索结果，如Lycos引擎。
目录索引
目录索引虽然有搜索功能，但在严格意义上算不上是真正的搜索引擎，仅仅是按目录分类的网站链接列表而已。用户完全可以不用进行关键词（Keywords）查询，仅靠分类目录也可找到需要的信息。目录索引中最具代表性的莫过于大名鼎鼎的Yahoo雅虎。其他著名的还有Open Directory Project（DMOZ）、LookSmart、About等。国内的搜狐、新浪、网易搜索也都属于这一类。
元搜索引擎 (META Search Engine)
元搜索引擎在接受用户查询请求时，同时在其他多个引擎上进行搜索，并将结果返回给用户。著名的元搜索引擎有InfoSpace、Dogpile、Vivisimo等（元搜索引擎列表），中文元搜索引擎中具代表性的有搜星搜索引擎。在搜索结果排列方面，有的直接按来源引擎排列搜索结果，如Dogpile，有的则按自定的规则将结果重新排列组合，如Vivisimo。
除上述三大类引擎外，还有以下几种非主流形式：
1、 *** 式搜索引擎：如HotBot在2002年底推出的引擎。该引擎类似META搜索引擎，但区别在于不是同时调用多个引擎进行搜索，而是由用户从提供的4个引擎当中选择，因此叫它“ *** 式”搜索引擎更确切些。
2、门户搜索引擎：如AOL Search、MSN Search等虽然提供搜索服务，但自身即没有分类目录也没有网页数据库，其搜索结果完全来自其他引擎。
3、免费链接列表（Free For All Links，简称FFA）：这类网站一般只简单地滚动排列链接条目，少部分有简单的分类目录，不过规模比起Yahoo等目录索引来要小得多。
google中支持的有:pdf、ps、doc、ppt、xls、rtf
搜索格式为：internet filetype:doc
请采纳。
问题五：人工分类目录型的搜索引擎有那些 搜索引擎主要有目录式搜索引擎、关键词全文搜索引擎和元搜索引擎三类。区别是目录式搜索引擎是基于目录检索，关键词全文搜索引擎是基于关键词搜索，元搜索引擎是搜索引擎的搜索引擎，没有自己的搜索引擎。
问题六：搜索引擎的主要体系包括哪些 搜索引擎（Search Engine）是指根据一定的策略、运用特定的计算机程序从互联网上搜集信息，在对信息进行组织和处理后，为用户提供检索服务，将用户检索相关的信息展示给用户的系统。搜索引擎包括全文索引、目录索引、元搜索引擎、垂直搜索引擎、 *** 式搜索引擎、门户搜索引擎与免费链接列表等。
全文索引
搜索引擎分类部分提到过全文搜索引擎从网站提取信息建立网页数据库的概念。搜索引擎的自动信息搜集功能分两种。一种是定期搜索，即每隔一段时间（比如Google一般是28天），
蜘蛛搜索引擎
搜索引擎主动派出“蜘蛛”程序，对一定IP地址范围内的互联网网站进行检索，一旦发现新的网站，它会自动提取网站的信息和网址加入自己的数据库。另一种是提交网站搜索，即网站拥有者主动向搜索引擎提交网址，它在一定时间内（2天到数月不等）定向向你的网站派出“蜘蛛”程序，扫描你的网站并将有关信息存入数据库，以备用户查询。随着搜索引擎索引规则发生很大变化，主动提交网址并不保证你的网站能进入搜索引擎数据库，最好的办法是多获得一些外部链接，让搜索引擎有更多机会找到你并自动将你的网站收录。
当用户以关键词查找信息时，搜索引擎会在数据库中进行搜寻，如果找到与用户要求内容相符的网站，便采用特殊的算法――通常根据网页中关键词的匹配程度、出现的位置、频次、链接质量――计算出各网页的相关度及排名等级，然后根据关联度高低，按顺序将这些网页链接返回给用户。这种引擎的特点是搜全率比较高。
目录索引
目录索引也称为：分类检索，是因特网上最早提供WWW资源查询的服务，主要通过搜集和整理因特网的资源，根据搜索到网页的内容，将其网址分配到相关分类主题目录的不同层次的类目之下，形成像图书馆目录一样的分类树形结构索引。目录索引无需输入任何文字，只要根据网站提供的主题分类目录，层层点击进入，便可查到所需的网络信息资源。
虽然有搜索功能，但严格意义上不能称为真正的搜索引擎，只是按目录分类的网站链接列表而已。用户完全可以按照分类目录找到所需要的信息，不依靠关键词（Keywords）进行查询。
与全文搜索引擎相比，目录索引有许多不同之处。
首先，搜索引擎属于自动网站检索，而目录索引则完全依赖手工操作。用户提交网站后，目录编辑人员会亲自浏览你的网站，然后根据一套自定的评判标准甚至编辑人员的主观印象，决定是否接纳你的网站。其次，搜索引擎收录网站时，只要网站本身没有违反有关的规则，一般都能登录成功；而目录索引对网站的要求则高得多，有时即使登录多次也不一定成功。尤其像Yahoo这样的超级索引，登录更是困难。
此外，在登录搜索引擎时，一般不用考虑网站的分类问题，而登录目录索引时则必须将网站放在一个最合适的目录（Directory）。
最后，搜索引擎中各网站的有关信息都是从用户网页中自动提取的，所以用户的角度看，我们拥有更多的自 *** ；而目录索引则要求必须手工另外填写网站信息，而且还有各种各样的限制。更有甚者，如果工作人员认为你提交网站的目录、网站信息不合适，他可以随时对其进行调整，当然事先是不会和你商量的。
搜索引擎与目录索引有相互融合渗透的趋势。一些纯粹的全文搜索引擎也提供目录搜索，如Google就借用Open Directory目录提供分类查询。而像Yahoo! ；这些老牌目录索引则通过与Google等搜索引擎合作扩大搜索范围（注）。在默认搜索模式下，一些目录类搜索引擎首先返回的是自己目录中匹配的网站，如中国的搜狐、新浪、网易等；而另外一些则默认的是网页搜索，如Yahoo。这种引擎的特点是找的准确率比较高。
元搜索......
问题七：搜索引擎有哪四大类,每一种类型的代表是那些搜索引擎 1.全文索引
全文搜索引擎是名副其实的搜索引擎，国外代表有Google，国内则有著名的百度搜索。它们从互联网提取各个网站的信息(以网页文字为主)，建立起数据库，并能检索与用户查询条件相匹配的记录，按一定的排列顺序返回结果。
根据搜索结果来源的不同，全文搜索引擎可分为两类，一类拥有自己的检索程序(Indexer)，俗称“蜘蛛”(Spider)程序或“机器人”(Robot)程序，能自建网页数据库，搜索结果直接从自身的数据库中调用，上面提到的Google和百度就属于此类；另一类则是租用其他搜索引擎的数据库，并按自定的格式排列搜索结果，如Lycos搜索引擎。
2.目录索引
目录索引虽然有搜索功能，但严格意义上不能称为真正的搜索引擎，只是按目录分类的网站链接列表而已。用户完全可以按照分类目录找到所需要的信息，不依靠关键词(Keywords)进行查询。目录索引中最具代表性的莫过于大名鼎鼎的Yahoo！、新浪分类目录搜索。
3.元搜索引擎
元搜索引擎(META Search Engine)接受用户查询请求后，同时在多个搜索引擎上搜索，并将结果返回给用户。著名的元搜索引擎有InfoSpace、Dogpile、Vivisimo等，中文元搜索引擎中具代表性的是搜星搜索引擎。在搜索结果排列方面，有的直接按来源排列搜索结果，如Dogpile；有的则按自定的规则将结果重新排列组合，如Vivisimo。
其他非主流搜索引擎形式
(1) *** 式搜索引擎:该搜索引擎类似元搜索引擎，区别在于它并非同时调用多个搜索引擎进行搜索，而是由用户从提供的若干搜索引擎中选择，如HotBot在2002年底推出的搜索引擎。
(2)门户搜索引擎:AOL Search、MSN Search等虽然提供搜索服务，但自身既没有分类目录也没有网页数据库，其搜索结果完全来自其他搜索引擎。
(3)免费链接列表(Free For All Links，简称FFA):一般只简单地滚动链接条目，少部分有简单的分类目录，不过规模要比Yahoo！等目录索引小很多。
问题八：搜索引擎都有哪几种类型 搜索引擎主要分类，及特点：
一、全文索引
全文搜索引擎是目前广泛应用的主流搜索引擎，国外代表搜索是Google，国内则有最大中文搜索百度。它们从互联网提取各个网站的信息（以网页文字为主），建立起数据库，并能检索与用户查询条件相匹配的记录，按一定的排列顺序返回结果。
根据搜索结果来源的不同，全文搜索引擎可分为两类，一类拥有自己的检索程序（Indexer），俗称“蜘蛛”（Spider）程序或“机器人”（Robot）程序，能自建网页数据库，搜索结果直接从自身的数据库中调用，上面提到的Google和360搜索就属于此类；另一类则是租用其他搜索引擎的数据库，并按自定的格式排列搜索结果，如Lycos搜索引擎。
二、目录索引
目录索引也称为：分类检索，是因特网上最早提供WWW资源查询的服务，主要通过搜集和整理因特网的资源，根据搜索到网页的内容，将其网址分配到相关分类主题目录的不同层次的类目之下，形成像图书馆目录一样的分类树形结构索引。目录索引无需输入任何文字，只要根据网站提供的主题分类目录，层层点击进入，便可查到所需的网络信息资源。
三、元搜索引擎
元搜索引擎（META Search Engine）接受用户查询请求后，同时在多个搜索引擎上搜索，并将结果返回给用户。著名的元搜索引擎有InfoSpace、Dogpile、Vivisimo等，中文元搜索引擎中具代表性的是搜星搜索引擎。在搜索结果排列方面，有的直接按来源排列搜索结果，如Dogpile；有的则按自定的规则将结果重新排列组合，如Vivisimo。
四、垂直搜索引擎
垂直搜索引擎为2006年后逐步兴起的一类搜索引擎。不同于通用的网页搜索引擎，垂直搜索专注于特定的搜索领域和搜索需求（例如：机票搜索、旅游搜索、生活搜索、小说搜索、视频搜索等等），在其特定的搜索领域有更好的用户体验。相比通用搜索动辄数千台检索服务器，垂直搜索需要的硬件成本低、用户需求特定、查询的方式多样。
五、 *** 式搜索引擎
*** 式搜索引擎：该搜索引擎类似元搜索引擎，区别在于它并非同时调用多个搜索引擎进行搜索，而是由用户从提供的若干搜索引擎中选择，如HotBot在2002年底推出的搜索引擎。
六、门户搜索引擎
门户搜索引擎：AOLSearch、MSNSearch等虽然提供搜索服务，但自身既没有分类目录也没有网页数据库，其搜索结果完全来自其他搜索引擎。
七、免费链接列表
免费链接列表（Free For All Links简称FFA）：一般只简单地滚动链接条目，少部分有简单的分类目录，不过规模要比Yahoo！等目录索引小很多。
希望可以帮助到你~望采纳哦～谢谢～ 看评论
问题九：什么是目录搜索 国内一般把搜索引擎分为分类搜索引擎和关键词搜索引擎，国外则分别称其为Directory和Search engine。 Directory是指一种主题分类目录，由人工对网站进行标引和组织（hand-picked web sites organized into categories），提供分类检索；Search engine是基于蜘蛛程序的搜索引擎（Spider-Based Search Engine），由程序自动索引网页建立数据库，提供关键词搜索。搜索引擎是工具性实体，分类搜索和关键词搜索是搜索引擎的功能特征和网络信息的检索方法。 分类搜索是最早出现的一种网络信息检索方法，主题分类目录的创制已有相当成熟的理论、技术和丰富的成功经验。Yahoo!被认为是分类搜索的鼻祖，Directory的代表，引领着分类搜索的潮流。搜狐（搜狗）开中文分类搜索先河，其50,000主题分类，500,000优选网站无愧中文主题分类目录的典范，堪称中文分类搜索的旗舰。 1、何谓分类搜索 分类搜索是基于人工标引的检索方法。它以科学、实用的分类目录为工具，以规范化的自然语言为类名，在对网络信息归纳、概括的基础上，以网站为单元，提供经过专家评价和人工整序的网络信息。 分类搜索是突出族性特征的检索方法。由于分类目录已按照学科或主题对网络信息进行了标引，所有网站在分类体系中同聚异分，各有所属，纵向成枝，横向成网，只需按图索骥，同一类属或相关主题的信息即可循类以求，适用于查询具有同一特征的多个目标和主题范围广、概念宽泛的问题。 分类搜索是关键词搜索不可替代的检索方法。关键词搜索以简单、快捷著称，但庞大的结果列表、大量重复和无用的信息是其永远的伤痛。而分类搜索恰恰独具优势，经过人工编辑的检索结果既以精当、准确著称，又以系统、有效见长。 分类搜索是循序渐进的检索方法。与关键词搜索即刻按照相关性递减顺序返回大量结果不同，分类搜索要首先确定所需信息在目录中的类系归属和相关路径，从大类入手，逐级浏览，渐进查询，在相应类目下按字顺展开网站列表，然后再根据网站名称和简介，对结果列表进行选择。 分类搜索是门户网站不可缺少的检索方法。互联网上搜索的概念最早来自于门户网站，资深网民对互联网的认识最初几乎全部来自于当年yahoo！提供的分类搜索服务。有关数据显示，我国将近70%以上网民是通过门户网站认识和开始使用搜索引擎的。门户网站是使用搜索引擎的主要平台，搜索引擎也为门户网站带来了巨大的经济利益和访问流量。 2、分类搜索的原理 分类搜索的基础和前提是构建一个反映网站相关信息及其URL链接的目录指南（Directory），在这个目录中，经过审核与标引的网站按学科或主题分门别类、有序排列。分类搜索就是在分类目录中，根据所需信息的学科属性或主题内容，逐级检索，循类以求。由于分类目录是以数据库形式存在的，也可以说，分类搜索就是对分类数据库的检索。 分类搜索建立在网络分类的基础上，了解分类搜索的原理，不能不首先了解网络分类体系。分类标准、类目划分、类目设置、类目序列等，对分类体系的构建至关重要，决定着分类目录的性质和功能，影响着分类搜索的效率和效果。系统性和实用性是对网络信息分类的基本要求，以学科性质为标准可以保证分类的系统性，以事物主题为......
问题十：中国主要的搜索引擎有哪几个？ 百度(baidu)中文搜索引擎
全球最大中文搜索引擎。提供网页快照、网页预览/预览全部网页、相关搜索词、错别字纠正提示、新闻搜索、Flash搜索、信息快递搜索、百度搜霸、搜索援助中心。
北大天网中英文搜索引擎
由北京大学开发，简体中文、繁体中文和英文三个版本。提供全文检索、新闻组检索、FTP检索（北京大学、中科院等FTP站点）。目前大约收集了100万个WWW页面（国内）和14万篇Newsgroup（新闻组）文章。支持简体中文、繁体中文、英文关键词搜索，不支持数字关键词和URL名检索。
新浪搜索引擎
互联网上规模 最大的中文搜索引擎之一。设大类目录18个，子目1万多个，收录网站20余万。提供网站、中文网页、英文网页、新闻、汉英辞典、软件、沪深行情、游戏等多种资源的查询。
雅虎中国搜索引擎
Yahoo!是世界上最著名的目录搜索引擎。雅虎中国于1999年9月正式开通，是雅虎在全球的第20个网站。Yahoo！目录是一个Web资源的导航指南，包括14个主题大类的内容。
搜狐搜索引擎
搜狐于1998年推出中国首家大型分类查询搜索引擎，到现在已经发展成为中国影响力最大的分类搜索引擎。每日页面浏览量超过800万，可以查找网站、网页、新闻、网址、软件、黄页等信息。
网易搜索引擎
网易新一代开放式目录管理系统（ODP）。拥有近万名义务目录管理员。为广大网民创建了一个拥有超过一万个类目，超过25万条活跃站点信息，日增加新站点信息500~1000条，日访问量超过500万次的专业权威的目录查询体系。
3721网络实名/智能搜索
3721公司提供的中文上网服务�D�D3721网络实名，使用户无须记忆复杂的网址，直接输入中文名称，即可直达网站。3721智能搜索系统不仅含有精确的网络实名搜索结果，同时集成多家搜索引擎。
360综合搜索引擎
搜索引擎算法的搜索引擎蜘蛛
搜索引擎蜘蛛即Search Engine Spider，是一个很形象的名字。把互联网比喻成一张蜘蛛网，那么Spider就是在网上爬来爬去的蜘蛛。搜索引擎蜘蛛是通过网页的链接地址来寻找网页，从 网站某一个页面（通常是首页）开始，读取网页的内容，找到在网页中的其它链接地址，然后通过这些链接地址寻找下一个网页，这样一直循环下去，直到把这个网站所有的网页都抓取完为止。如果把整个互联网当成一个网，那么搜索引擎蜘蛛就可以用这个原理把互联网上所有节点的网页都抓取下来。
由于互联网上无数的网站页面，搜索引擎蜘蛛无法将所有的页面都下载保存到服务器。因此，许多搜索引擎的网络蜘 蛛只是抓取那些重要的网页，而在抓取的时候评价重要性主要的依据是某个网页的链接广泛度（及外部链接的数量与质量）。 搜索引擎蜘蛛在访问网站网页的时候，经常会遇到加密数据和网页权限的问题，有些网页是需要会员权限才能访问。当然，网站的所有者可以通过协议让搜索引擎蜘蛛不去抓取，但对于一些出售报告的网站，他们希望搜索引擎能搜索到他们的报告，但又不能完全免费的让搜索者查看，这样就需要给搜索引擎蜘蛛提供相应的 用户名和密码。搜索引擎蜘蛛可以通过所给的权限对这些网页进行网页抓取，从而提供搜索。而当搜索者点击查看该网页的时候，同样需要搜索者提供相应的权限验证。
几个主流搜索引擎蜘蛛的名称
1.Google蜘蛛名称
1）Googlebot：从Google的网站索引和新闻索引中抓取网页
2）Googlebot-Mobile针对Google的移动索引抓取网页
3）Googlebot-Image：针对Google的图片索引抓取网页
4）Mediapartners-Google：抓取网页确定AdSense的内容。只有在你的网站上展示AdSense广告的情况下，Google才会使用此漫游器来抓取您的网站。
5）Adsbot-Google：抓取网页来衡量AdWords目标网页的质量。只有在你使用GoogleAdWords为你的网站做广告的情况下，Google才会使用此漫游器。
2.百度蜘蛛名称：
Baiduspider首字母B大写，其余为小写
3.雅虎（Yahoo!）蜘蛛名称：
1）Yahoo!搜索蜘蛛名称：Yahoo!Slurp.
2）Yahoo!搜索引擎广告蜘蛛：Yahoo!-AdCrawler.用来抓取Yahoo!搜索引擎广告登陆页网页
4.有道蜘蛛名称：
YodaoBot
5.腾讯搜搜soso蜘蛛名称：
Sosospider首字母S大写，其余为小写
6.搜狗（sogou）蜘蛛名称：
sogouspider
7.Live蜘蛛名称
1）MSNBot：Mainwebcrawler（）
2）MSNBot-Media：Imagesallothermedia（images.live.com）
3）MSNBot-NewsBlogs：Newsandblogs（search.live.com/news）
4）MSNBot-Products：Productsshopping（products.live.com）
5）MSNBot-Academic：Academicsearch（academic.live.com）
拓展阅读：搜索引擎蜘蛛抓取网页规则分析
一、爬虫框架
我们可以将网页当作是蜘蛛的晚餐，晚餐包括：
已下载的网页。已经被蜘蛛抓取到的网页内容，放在肚子里了。
已过期网页。蜘蛛每次抓取的网页很多，有一些已经坏在肚子里了。
待下载网页。看到了食物，蜘蛛就要去抓取它。
可知网页。还没被下载和发现，但蜘蛛能够感觉到他们，早晚会去抓取它。
不可知网页。互联网太大，很多页面蜘蛛无法发现，可能永远也找不到，这部份占比很高。
通过以上划分，我们可以很清楚的理解搜索引擎蜘蛛的工作及面临的挑战。大多数蜘蛛是按照这样的框架去爬行。但也不完全一定，凡事总有特殊，根据职能的'不同，蜘蛛系统存在一些差异。
二、爬虫类型
1、批量型蜘蛛。
这类蜘蛛有明确的抓取范围和目标，当蜘蛛完成目标和任务后就停止抓取。具体目标是什么?可能是抓取网页数量，网页大小，抓取时间等。
2、增量型蜘蛛
这类蜘蛛和批量型蜘蛛不同，他们会持续不断的抓取，对于抓取到的网页会定期抓取更新。因为互联网中的网页是随时处于更新状态中，增量型蜘蛛需要能够反映出这种更新。
3、垂直性蜘蛛
这种蜘蛛只关注特定主题或者特定的行业网页。以健康网站为例子，这类专门的蜘蛛会只抓取健康相关主题，其它主题内容的网页则不抓取。考验这只蜘蛛的难点是如何去更精准的识别内容所属于行业。目前来看，很多垂直类行业网站是需要这种蜘蛛去抓取的。
三、抓取策略
蜘蛛通过种子URL进行爬行拓展，列出大量待抓取URL。但是待抓取URL数量庞大，蜘蛛如何确定抓取顺序先后呢?蜘蛛抓取的策略有很多种，但最终目的是一个：优先抓取重要的网页。评价页面是否重要，蜘蛛会根据页面内容原创程度，链接权重分析等众多方式来进行计算。比较有代表性的抓取策略如下：
1、宽度优先策略
宽度优先是指：蜘蛛在抓取一个网页后，继续将该网页所包含的其它页面按顺序进行进一步抓取。这种思想看似简单，其实却很实用。因为大多数网页都是按优先级进行排序，重要的页面会优先在页面上进行推荐。
2、PageRank策略
PageRank是一种非常著名的链接分析方法，主要是用来衡量网页权重。如谷歌的PR，就是典型的PageRank算法。通过PageRank算法我们可以找出哪些页面是更重要的，然后蜘蛛优先去抓取这些重要性的页面。
3、大站优先策略
这个很容易理解，大网站通常拥有更多的`内容页面，并且质量也会更高。蜘蛛会先分析网站归类与属性。如果这个网站已经收录很多，或者在搜索引擎系统中权重很高，则优先考虑收录。
四、网页更新
互联网中的页面大多会保持更新，这样就要求蜘蛛所存储的页面也能及时更新，保持一致性。打个比喻：一个网页之前排名很好，如果页面已经被删，却还有排名，那体验就很不好。因此搜索引擎需要随时了解这些并更新页面，将最新的页面提供给用户。常用的网页更新策略在三种：历史参考策略，用户体验策略。聚类抽样策略。
1、历史参考策略
这是建立在一种假设基础上的更新策略。比如，若你的网页之前按规律一直更新，那搜索引擎也认为你的页面将来也会经常更新，蜘蛛也会按这个规律定期来网站进行抓取网页。这也是为什么点水一直强调网站内容需要有规律更新的原因。
2、用户体验策略
一般来说，用户只会查看搜索结果前三页的内容，后面的页面很少有人去看。用户体验策略就是搜索引擎根据用户的这个特点来进行更新。例如，一个网页可能发布时间较早，一段时间没更新，但是用户依然觉得有用，点击浏览它，那么搜索引擎先不去更新这些过时的网页也是可以的。这就是为什么搜索结果中，并不一定最新的页面排名一定靠前的原因。排名更多的是取决于这个页面的质量，而完全不是更新时间先后。
3、聚类抽样策略
上两种更新策略主要是参考了网页的历史信息。但存储大量历史信息对搜索引擎来说是一种负担，另外如果收录的是新网页则是没有历史信息可以参考的，那怎么办?聚类抽样策略是指：根据网页所展现出来的一些属性，来将很多相似网页进行归类，被归类的页面按照相同的规律去进行更新。
从了解搜索引擎蜘蛛工作原理的过程中，我们会知道：网站内容之间的相关性，网站与网页内容更新规律，网页上链接分布以及网站权重高低等因素都会影响到蜘蛛的抓取效率。知已知彼，让蜘蛛来得更猛烈些吧！
什么是搜索引擎蜘蛛？
搜搜引擎蜘蛛是一个自动抓取互联网上网页内容的程序，每个搜索引擎都有自己的蜘蛛。
搜索引擎蜘蛛也叫搜索引擎爬虫、搜索引擎robot。
国内各大搜索引擎蜘蛛名称：
百度：百度spider
谷歌：googlebot
搜狗：sogou spider
搜搜：Sosospider
360搜索：360Spider
有道：YodaoBot
雅虎：Yahoo Slurp
必应：msnbot
Msn:msnbot
以上是常见的搜索引擎蜘蛛（爬虫），如果你的网站不想让让某些蜘蛛抓取，那么可以通过robots.txt来限制爬虫的抓取。
搜索引擎蜘蛛是什么意思？
夫唯学院里面提过搜索引擎蜘蛛，是自己研发的一个搜索引擎抓取程序。它主要抓取互联网上的上的网页、图片、视频等内容，方便搜索引擎对这些内容进行索引，
然后用户就可以在搜索引擎里搜索他们想要的内容，出现他们需要的结果。由于抓取程序的在互联网上不停的爬，就好比蜘蛛在他的网上爬取一样，所以大家给“搜索引擎抓取程序”取名叫蜘蛛。
相关文章
