欢迎来到山东商祺信息技术有限公司官网!本站主营:

淄博网站建设, 淄博网站优化, 淄博网站推广, 淄博网站制作.

当前位置: 首页 >  淄博网站优化 >  什么是搜索引擎蜘蛛?

什么是搜索引擎蜘蛛?

发表日期:2018-11-26 08:24:34文章来源:淄博网站建设文章编辑:淄博网站优化_刘当浏览次数:

“蜘蛛”并非动物
搜索引擎蜘蛛( Spider)是一个很形象的名字。如果把互联网看成一个蜘蛛网, 那么Spdr就是在网上爬来爬去的蜘蛛。搜索引擎蜘蛛通过网页的链接地址来寻找 网页,从网站的一个页面(通常是首页)开始读取网页的内容,找到网页中的其他 链接地址,然后通过这些链接地址寻找下一个网页,这样循环下去,直到抓取这个 网站的所有网页为止。如果把整个互联网看成一个网站,那么搜索引擎蜘蛛就能用 这个方法把互联网上所有网页的信息都抓取下来。
各大搜索引擎蜘蛛的名称
《百度蜘蛛:baiduspider》《google蜘蛛:googlebot》《yahoo蜘蛛:slurp》《alexa蜘蛛:ia_archiver》《man蜘蛛: msnbot》《soso蜘蛛: sosospider》《bing蜘蛛: bingbot》《altavista蜘蛛:scooter》《lycos蜘蛛:lycos_spider_(t-rex)》《alltheweb蜘蛛:fast-webcrawler/》《有道蜘蛛:yodaobot和 OutfoxBot》《inktomi蜘蛛:slurp》《搜狗蜘蛛:soguo spider》《热士蜘蛛:Adminrtspider》
相关新闻

淄博网站优化目录索引和搜索引擎的区别?

淄博网站建设目录索引和搜索引的区别?目录索引在淄博网站优化中也...

日期:2018-11-28 浏览次数:150

淄博网站优化应怎么样掌握搜索引擎层级抓取方式?

在淄博网站优化中搜索引擎要抓取互联网上所有的网面几乎是不可能的...

日期:2018-11-29 浏览次数:123