搜索引擎蜘蛛爬行规律探秘(一)蜘蛛如何抓取链接
搜索引擎蜘蛛，对于我们来说非常神秘，本文的配图使用蜘蛛侠的原因就在于此。当然我们也不是百度的也不是Google的，所以只能说探秘，而不是揭秘。本文内容比较简单，只是给不知道的朋友一个分享的途径，高手和牛人请绕行吧。
传统意义上，我们感觉搜索引擎蜘蛛(spider)爬行，应该类似于真正的蜘蛛在蜘蛛网上爬行。也就是比如百度蜘蛛找到一个链接，顺着这个链接爬行到一个页面，然后再顺着这个页面里面的链接继续爬……这个类似于蜘蛛网，也类似于一棵大树。这个理论虽然正确，但是不准确。
搜索引擎内部是有一个网址索引库的，所以搜索引擎蜘蛛是从搜索引擎的服务器出发，顺着搜索引擎已有的网址爬行一个网页，并将网页内容抓取回来。页面采集回来之后，搜索引擎会对其进行分析，将内容和链接分开，内容暂时先不说。分析出来链接之后，搜索引擎并不会马上去派蜘蛛进行抓取，而是把链接和锚文本记录下来交给网址索引库进行分析、对比和计算，最后放入网址索引库。进入了网址索引库之后，才会有蜘蛛去抓取。
也就是如果出现了某个网页的外链，并不一定会立刻有蜘蛛去抓取这个页面，而是会有一个分析计算的过程。即便是这个外链在蜘蛛抓取之后被删除了，这个链接也有可能已经被搜索引擎记录，以后还有抓取的可能。而且下次如果蜘蛛再去抓取这个外链所在页面，发现链接不存在了，或者外链所在页面出现了404，那么只是减少了这个外链的权重，应该不会去网址索引库删除这个链接。
所以说已经不存在的页面上的链接，也有作用。今天就分享这些，以后继续跟大家分享我自己分析的内容，如果有不准确的地方，请大家批评指正。
转载请注明来自逍遥博客@LiboSEO，本文地址：
除非注明，逍遥博客文章均为原创，转载请注明出处和链接!
搜索引擎 的蜘蛛程序
# 什么是baiduspider？
baiduspider是百度搜索引擎的一个自动程序。它的作用是访问互联网上的html网页，建立索引数据库，使用户能在百度搜索引擎中搜索到您网站的网页。
# baiduspider对一个网站服务器造成的访问压力如何？
baiduspider会自动根据服务器的负载能力调节访问密度。在连续访问一段时间后，baiduspider会暂停一会，以防止增大服务器的访问压力。所以在一般情况下，baiduspider对您网站的服务器不会造成过大压力。
# 为什么baiduspider不停的抓取我的网站？
对于您网站上新产生的或者持续更新的页面，baiduspider会持续抓取。此外，您也可以检查网站访问日志中baiduspider的访问是否正常，以防止有人恶意冒充baiduspider来频繁抓取您的网站。 如果您发现baiduspider非正常抓取您的网站，请反馈至webmaster@baidu.com，并请尽量给出baiduspider对贵站的访问日志，以便于我们跟踪处理。
# baiduspider多长时间之后会重新抓取我的网页？
百度搜索引擎每周更新，网页视重要性有不同的更新率，频率在几天至一月之间，baiduspider会重新访问和更新一个网页。
这里有一个demo的代码：
目录类搜索引擎有哪些
问题一：目录索引类，元，全文搜索引擎有哪些？ 搜索引擎按照工作方式可以分为三类：1、目录搜索引擎：目录搜索引擎主要有yahoo！、LookSmart、About、DMOZ、Galaxy等。2、全文搜索引擎：全文搜索引擎主要有Google、百度、AltaVista、Inktomi、Alltheweb等。3、元搜索引擎：元搜索引擎主要有InfoSpace、Dogpile、Vivisimo、北大天网、搜狐、Lycos、Meta crawler等。
问题二：目录索引类搜索引擎有哪些 一般是分普通网站内容和音乐两种 百度 google Yahoo雅虎 搜狐搜索 新浪搜索 网易搜索 中搜 天网搜索 中华搜索 极限搜索 网蛙搜索 3721搜索 QQ搜索 TOM搜索
问题三：目录索引搜索引擎有哪些 百度 google Yahoo雅虎 搜狐搜索 新浪搜索 网易搜索 中搜 天网搜索 中华搜索 极限搜索 网蛙搜索 3721搜索TOM搜索
问题四：目录搜索用什么搜索引擎 搜索引擎按其工作方式主要可分为三种，分别是全文搜索引擎（Full Text Search Engine）、目录索引类搜索引擎（Search Index/Directory）和元搜索引擎（Meta Search Engine）。
全文搜索引擎是名副其实的搜索引擎，国外具代表性的有Google、Fast/AllTheWeb、AltaVista、Inktomi、Teoma、WiseNut等，国内著名的有百度（Baidu）。它们都是通过从互联网上提取的各个网站的信息（以网页文字为主）而建立的数据库中，检索与用户查询条件匹配的相关记录，然后按一定的排列顺序将结果返回给用户，因此他们是真正的搜索引擎。
从搜索结果来源的角度，全文搜索引擎又可细分为两种，一种是拥有自己的检索程序（Indexer），俗称“蜘蛛”（Spider）程序或“机器人”（Robot）程序，并自建网页数据库，搜索结果直接从自身的数据库中调用，如上面提到的7家引擎；另一种则是租用其他引擎的数据库，并按自定的格式排列搜索结果，如Lycos引擎。
目录索引
目录索引虽然有搜索功能，但在严格意义上算不上是真正的搜索引擎，仅仅是按目录分类的网站链接列表而已。用户完全可以不用进行关键词（Keywords）查询，仅靠分类目录也可找到需要的信息。目录索引中最具代表性的莫过于大名鼎鼎的Yahoo雅虎。其他著名的还有Open Directory Project（DMOZ）、LookSmart、About等。国内的搜狐、新浪、网易搜索也都属于这一类。
元搜索引擎 (META Search Engine)
元搜索引擎在接受用户查询请求时，同时在其他多个引擎上进行搜索，并将结果返回给用户。著名的元搜索引擎有InfoSpace、Dogpile、Vivisimo等（元搜索引擎列表），中文元搜索引擎中具代表性的有搜星搜索引擎。在搜索结果排列方面，有的直接按来源引擎排列搜索结果，如Dogpile，有的则按自定的规则将结果重新排列组合，如Vivisimo。
除上述三大类引擎外，还有以下几种非主流形式：
1、 *** 式搜索引擎：如HotBot在2002年底推出的引擎。该引擎类似META搜索引擎，但区别在于不是同时调用多个引擎进行搜索，而是由用户从提供的4个引擎当中选择，因此叫它“ *** 式”搜索引擎更确切些。
2、门户搜索引擎：如AOL Search、MSN Search等虽然提供搜索服务，但自身即没有分类目录也没有网页数据库，其搜索结果完全来自其他引擎。
3、免费链接列表（Free For All Links，简称FFA）：这类网站一般只简单地滚动排列链接条目，少部分有简单的分类目录，不过规模比起Yahoo等目录索引来要小得多。
google中支持的有:pdf、ps、doc、ppt、xls、rtf
搜索格式为：internet filetype:doc
请采纳。
问题五：人工分类目录型的搜索引擎有那些 搜索引擎主要有目录式搜索引擎、关键词全文搜索引擎和元搜索引擎三类。区别是目录式搜索引擎是基于目录检索，关键词全文搜索引擎是基于关键词搜索，元搜索引擎是搜索引擎的搜索引擎，没有自己的搜索引擎。
问题六：搜索引擎的主要体系包括哪些 搜索引擎（Search Engine）是指根据一定的策略、运用特定的计算机程序从互联网上搜集信息，在对信息进行组织和处理后，为用户提供检索服务，将用户检索相关的信息展示给用户的系统。搜索引擎包括全文索引、目录索引、元搜索引擎、垂直搜索引擎、 *** 式搜索引擎、门户搜索引擎与免费链接列表等。
全文索引
搜索引擎分类部分提到过全文搜索引擎从网站提取信息建立网页数据库的概念。搜索引擎的自动信息搜集功能分两种。一种是定期搜索，即每隔一段时间（比如Google一般是28天），
蜘蛛搜索引擎
搜索引擎主动派出“蜘蛛”程序，对一定IP地址范围内的互联网网站进行检索，一旦发现新的网站，它会自动提取网站的信息和网址加入自己的数据库。另一种是提交网站搜索，即网站拥有者主动向搜索引擎提交网址，它在一定时间内（2天到数月不等）定向向你的网站派出“蜘蛛”程序，扫描你的网站并将有关信息存入数据库，以备用户查询。随着搜索引擎索引规则发生很大变化，主动提交网址并不保证你的网站能进入搜索引擎数据库，最好的办法是多获得一些外部链接，让搜索引擎有更多机会找到你并自动将你的网站收录。
当用户以关键词查找信息时，搜索引擎会在数据库中进行搜寻，如果找到与用户要求内容相符的网站，便采用特殊的算法――通常根据网页中关键词的匹配程度、出现的位置、频次、链接质量――计算出各网页的相关度及排名等级，然后根据关联度高低，按顺序将这些网页链接返回给用户。这种引擎的特点是搜全率比较高。
目录索引
目录索引也称为：分类检索，是因特网上最早提供WWW资源查询的服务，主要通过搜集和整理因特网的资源，根据搜索到网页的内容，将其网址分配到相关分类主题目录的不同层次的类目之下，形成像图书馆目录一样的分类树形结构索引。目录索引无需输入任何文字，只要根据网站提供的主题分类目录，层层点击进入，便可查到所需的网络信息资源。
虽然有搜索功能，但严格意义上不能称为真正的搜索引擎，只是按目录分类的网站链接列表而已。用户完全可以按照分类目录找到所需要的信息，不依靠关键词（Keywords）进行查询。
与全文搜索引擎相比，目录索引有许多不同之处。
首先，搜索引擎属于自动网站检索，而目录索引则完全依赖手工操作。用户提交网站后，目录编辑人员会亲自浏览你的网站，然后根据一套自定的评判标准甚至编辑人员的主观印象，决定是否接纳你的网站。其次，搜索引擎收录网站时，只要网站本身没有违反有关的规则，一般都能登录成功；而目录索引对网站的要求则高得多，有时即使登录多次也不一定成功。尤其像Yahoo这样的超级索引，登录更是困难。
此外，在登录搜索引擎时，一般不用考虑网站的分类问题，而登录目录索引时则必须将网站放在一个最合适的目录（Directory）。
最后，搜索引擎中各网站的有关信息都是从用户网页中自动提取的，所以用户的角度看，我们拥有更多的自 *** ；而目录索引则要求必须手工另外填写网站信息，而且还有各种各样的限制。更有甚者，如果工作人员认为你提交网站的目录、网站信息不合适，他可以随时对其进行调整，当然事先是不会和你商量的。
搜索引擎与目录索引有相互融合渗透的趋势。一些纯粹的全文搜索引擎也提供目录搜索，如Google就借用Open Directory目录提供分类查询。而像Yahoo! ；这些老牌目录索引则通过与Google等搜索引擎合作扩大搜索范围（注）。在默认搜索模式下，一些目录类搜索引擎首先返回的是自己目录中匹配的网站，如中国的搜狐、新浪、网易等；而另外一些则默认的是网页搜索，如Yahoo。这种引擎的特点是找的准确率比较高。
元搜索......
问题七：搜索引擎有哪四大类,每一种类型的代表是那些搜索引擎 1.全文索引
全文搜索引擎是名副其实的搜索引擎，国外代表有Google，国内则有著名的百度搜索。它们从互联网提取各个网站的信息(以网页文字为主)，建立起数据库，并能检索与用户查询条件相匹配的记录，按一定的排列顺序返回结果。
根据搜索结果来源的不同，全文搜索引擎可分为两类，一类拥有自己的检索程序(Indexer)，俗称“蜘蛛”(Spider)程序或“机器人”(Robot)程序，能自建网页数据库，搜索结果直接从自身的数据库中调用，上面提到的Google和百度就属于此类；另一类则是租用其他搜索引擎的数据库，并按自定的格式排列搜索结果，如Lycos搜索引擎。
2.目录索引
目录索引虽然有搜索功能，但严格意义上不能称为真正的搜索引擎，只是按目录分类的网站链接列表而已。用户完全可以按照分类目录找到所需要的信息，不依靠关键词(Keywords)进行查询。目录索引中最具代表性的莫过于大名鼎鼎的Yahoo！、新浪分类目录搜索。
3.元搜索引擎
元搜索引擎(META Search Engine)接受用户查询请求后，同时在多个搜索引擎上搜索，并将结果返回给用户。著名的元搜索引擎有InfoSpace、Dogpile、Vivisimo等，中文元搜索引擎中具代表性的是搜星搜索引擎。在搜索结果排列方面，有的直接按来源排列搜索结果，如Dogpile；有的则按自定的规则将结果重新排列组合，如Vivisimo。
其他非主流搜索引擎形式
(1) *** 式搜索引擎:该搜索引擎类似元搜索引擎，区别在于它并非同时调用多个搜索引擎进行搜索，而是由用户从提供的若干搜索引擎中选择，如HotBot在2002年底推出的搜索引擎。
(2)门户搜索引擎:AOL Search、MSN Search等虽然提供搜索服务，但自身既没有分类目录也没有网页数据库，其搜索结果完全来自其他搜索引擎。
(3)免费链接列表(Free For All Links，简称FFA):一般只简单地滚动链接条目，少部分有简单的分类目录，不过规模要比Yahoo！等目录索引小很多。
问题八：搜索引擎都有哪几种类型 搜索引擎主要分类，及特点：
一、全文索引
全文搜索引擎是目前广泛应用的主流搜索引擎，国外代表搜索是Google，国内则有最大中文搜索百度。它们从互联网提取各个网站的信息（以网页文字为主），建立起数据库，并能检索与用户查询条件相匹配的记录，按一定的排列顺序返回结果。
根据搜索结果来源的不同，全文搜索引擎可分为两类，一类拥有自己的检索程序（Indexer），俗称“蜘蛛”（Spider）程序或“机器人”（Robot）程序，能自建网页数据库，搜索结果直接从自身的数据库中调用，上面提到的Google和360搜索就属于此类；另一类则是租用其他搜索引擎的数据库，并按自定的格式排列搜索结果，如Lycos搜索引擎。
二、目录索引
目录索引也称为：分类检索，是因特网上最早提供WWW资源查询的服务，主要通过搜集和整理因特网的资源，根据搜索到网页的内容，将其网址分配到相关分类主题目录的不同层次的类目之下，形成像图书馆目录一样的分类树形结构索引。目录索引无需输入任何文字，只要根据网站提供的主题分类目录，层层点击进入，便可查到所需的网络信息资源。
三、元搜索引擎
元搜索引擎（META Search Engine）接受用户查询请求后，同时在多个搜索引擎上搜索，并将结果返回给用户。著名的元搜索引擎有InfoSpace、Dogpile、Vivisimo等，中文元搜索引擎中具代表性的是搜星搜索引擎。在搜索结果排列方面，有的直接按来源排列搜索结果，如Dogpile；有的则按自定的规则将结果重新排列组合，如Vivisimo。
四、垂直搜索引擎
垂直搜索引擎为2006年后逐步兴起的一类搜索引擎。不同于通用的网页搜索引擎，垂直搜索专注于特定的搜索领域和搜索需求（例如：机票搜索、旅游搜索、生活搜索、小说搜索、视频搜索等等），在其特定的搜索领域有更好的用户体验。相比通用搜索动辄数千台检索服务器，垂直搜索需要的硬件成本低、用户需求特定、查询的方式多样。
五、 *** 式搜索引擎
*** 式搜索引擎：该搜索引擎类似元搜索引擎，区别在于它并非同时调用多个搜索引擎进行搜索，而是由用户从提供的若干搜索引擎中选择，如HotBot在2002年底推出的搜索引擎。
六、门户搜索引擎
门户搜索引擎：AOLSearch、MSNSearch等虽然提供搜索服务，但自身既没有分类目录也没有网页数据库，其搜索结果完全来自其他搜索引擎。
七、免费链接列表
免费链接列表（Free For All Links简称FFA）：一般只简单地滚动链接条目，少部分有简单的分类目录，不过规模要比Yahoo！等目录索引小很多。
希望可以帮助到你~望采纳哦～谢谢～ 看评论
问题九：什么是目录搜索 国内一般把搜索引擎分为分类搜索引擎和关键词搜索引擎，国外则分别称其为Directory和Search engine。 Directory是指一种主题分类目录，由人工对网站进行标引和组织（hand-picked web sites organized into categories），提供分类检索；Search engine是基于蜘蛛程序的搜索引擎（Spider-Based Search Engine），由程序自动索引网页建立数据库，提供关键词搜索。搜索引擎是工具性实体，分类搜索和关键词搜索是搜索引擎的功能特征和网络信息的检索方法。 分类搜索是最早出现的一种网络信息检索方法，主题分类目录的创制已有相当成熟的理论、技术和丰富的成功经验。Yahoo!被认为是分类搜索的鼻祖，Directory的代表，引领着分类搜索的潮流。搜狐（搜狗）开中文分类搜索先河，其50,000主题分类，500,000优选网站无愧中文主题分类目录的典范，堪称中文分类搜索的旗舰。 1、何谓分类搜索 分类搜索是基于人工标引的检索方法。它以科学、实用的分类目录为工具，以规范化的自然语言为类名，在对网络信息归纳、概括的基础上，以网站为单元，提供经过专家评价和人工整序的网络信息。 分类搜索是突出族性特征的检索方法。由于分类目录已按照学科或主题对网络信息进行了标引，所有网站在分类体系中同聚异分，各有所属，纵向成枝，横向成网，只需按图索骥，同一类属或相关主题的信息即可循类以求，适用于查询具有同一特征的多个目标和主题范围广、概念宽泛的问题。 分类搜索是关键词搜索不可替代的检索方法。关键词搜索以简单、快捷著称，但庞大的结果列表、大量重复和无用的信息是其永远的伤痛。而分类搜索恰恰独具优势，经过人工编辑的检索结果既以精当、准确著称，又以系统、有效见长。 分类搜索是循序渐进的检索方法。与关键词搜索即刻按照相关性递减顺序返回大量结果不同，分类搜索要首先确定所需信息在目录中的类系归属和相关路径，从大类入手，逐级浏览，渐进查询，在相应类目下按字顺展开网站列表，然后再根据网站名称和简介，对结果列表进行选择。 分类搜索是门户网站不可缺少的检索方法。互联网上搜索的概念最早来自于门户网站，资深网民对互联网的认识最初几乎全部来自于当年yahoo！提供的分类搜索服务。有关数据显示，我国将近70%以上网民是通过门户网站认识和开始使用搜索引擎的。门户网站是使用搜索引擎的主要平台，搜索引擎也为门户网站带来了巨大的经济利益和访问流量。 2、分类搜索的原理 分类搜索的基础和前提是构建一个反映网站相关信息及其URL链接的目录指南（Directory），在这个目录中，经过审核与标引的网站按学科或主题分门别类、有序排列。分类搜索就是在分类目录中，根据所需信息的学科属性或主题内容，逐级检索，循类以求。由于分类目录是以数据库形式存在的，也可以说，分类搜索就是对分类数据库的检索。 分类搜索建立在网络分类的基础上，了解分类搜索的原理，不能不首先了解网络分类体系。分类标准、类目划分、类目设置、类目序列等，对分类体系的构建至关重要，决定着分类目录的性质和功能，影响着分类搜索的效率和效果。系统性和实用性是对网络信息分类的基本要求，以学科性质为标准可以保证分类的系统性，以事物主题为......
问题十：中国主要的搜索引擎有哪几个？ 百度(baidu)中文搜索引擎
全球最大中文搜索引擎。提供网页快照、网页预览/预览全部网页、相关搜索词、错别字纠正提示、新闻搜索、Flash搜索、信息快递搜索、百度搜霸、搜索援助中心。
北大天网中英文搜索引擎
由北京大学开发，简体中文、繁体中文和英文三个版本。提供全文检索、新闻组检索、FTP检索（北京大学、中科院等FTP站点）。目前大约收集了100万个WWW页面（国内）和14万篇Newsgroup（新闻组）文章。支持简体中文、繁体中文、英文关键词搜索，不支持数字关键词和URL名检索。
新浪搜索引擎
互联网上规模 最大的中文搜索引擎之一。设大类目录18个，子目1万多个，收录网站20余万。提供网站、中文网页、英文网页、新闻、汉英辞典、软件、沪深行情、游戏等多种资源的查询。
雅虎中国搜索引擎
Yahoo!是世界上最著名的目录搜索引擎。雅虎中国于1999年9月正式开通，是雅虎在全球的第20个网站。Yahoo！目录是一个Web资源的导航指南，包括14个主题大类的内容。
搜狐搜索引擎
搜狐于1998年推出中国首家大型分类查询搜索引擎，到现在已经发展成为中国影响力最大的分类搜索引擎。每日页面浏览量超过800万，可以查找网站、网页、新闻、网址、软件、黄页等信息。
网易搜索引擎
网易新一代开放式目录管理系统（ODP）。拥有近万名义务目录管理员。为广大网民创建了一个拥有超过一万个类目，超过25万条活跃站点信息，日增加新站点信息500~1000条，日访问量超过500万次的专业权威的目录查询体系。
3721网络实名/智能搜索
3721公司提供的中文上网服务�D�D3721网络实名，使用户无须记忆复杂的网址，直接输入中文名称，即可直达网站。3721智能搜索系统不仅含有精确的网络实名搜索结果，同时集成多家搜索引擎。
360综合搜索引擎
搜索引擎蜘蛛是什么意思？
夫唯学院里面提过搜索引擎蜘蛛，是自己研发的一个搜索引擎抓取程序。它主要抓取互联网上的上的网页、图片、视频等内容，方便搜索引擎对这些内容进行索引，
然后用户就可以在搜索引擎里搜索他们想要的内容，出现他们需要的结果。由于抓取程序的在互联网上不停的爬，就好比蜘蛛在他的网上爬取一样，所以大家给“搜索引擎抓取程序”取名叫蜘蛛。
什么是搜索引擎蜘蛛？
俗称网络爬虫（又被称为网页蜘蛛，网络机器人、蚂蚁、自动索引、模拟程序、蠕虫)按一定的规则，自动抓取万维网信息的程序或脚本。
相关文章
