快排人:怎么区分网站抓取和爬行

什么是爬行？爬行是查找引擎蜘蛛从要捕获的地址数据库中提取要捕获的URL,访问URL,并将读取的HTML代码存储到数据库中。蜘蛛爬行像浏览器相同翻开页面，就像用户的浏览器访问相同，它也会在服务器的原始日志中留下记载。
什么是抓取？抓取是指查找引擎蜘蛛从已知页面解析链接指向的URL然后沿链接发现新页面（即链接指向的URL）的进程。当然，蜘蛛没有发现新URL当即爬过新页面，而是将找到的URL存储在要捕获的地址库中。蜘蛛以特定次第从地址库中提取要爬网的URL.