搜索
首页 电脑/网络 互联网

蜘蛛是怎么爬取的? 在线等待

我想问一下蜘蛛是通过什么爬取页面的? 原理是怎样的?

全部回答

2010-05-07

0 0
为啥叫蜘蛛?原来就是给他一个原始页面,然后页面有别的网站的连接,蜘蛛就会访问别的网站,然后再发现新的连接,就这样一直往下爬,越爬越大。然后基本上就可以检索整个互联网了。

2010-05-07

59 0
楼上说的基本上完全了, 蜘蛛到你网站首先读取“robots.txt”,得到系网站那些内容可以读取那些不能读取后,再按照每页的连接进行读取,直至完成此次爬取任务, 但蜘蛛不是每个网站来者不拒的爬取,它根据数据库中关于此网站的等级,决定对此网站爬取的频度和比率。

类似问题换一批

热点推荐

热度TOP

相关推荐
加载中...

热点搜索 换一换

电脑/网络
互联网
硬件
电脑装机
程序设计
操作系统/系统故障
笔记本电脑
反病毒
百度
软件
互联网
互联网
QQ
网站推荐
上网帮助
举报
举报原因(必选):
取消确定举报