了解爬虫的工作流程及相关概念

标签: 爬虫

通用爬虫和聚焦爬虫的工作流程

在这里插入图片描述


通用搜素引擎的局限性

  • 通用搜素引擎所返回的网页中90%的内容无用
  • 图像、音频、视频多媒体的内容通用搜索引擎无能为力
  • 不同的用户搜索的目的不全相同,但是返回内容相同

ROBOTS协议
Robots协议:网站通过Robotos协议告诉搜索引擎哪些页面也可以抓取,哪些页面不能抓取。
https://www.taobao.com/robots.txt

显示如下:

User-agent: Baiduspider
Disallow: /

User-agent: baiduspider
Disallow: /

其中Dsiallow表示不可以进行抓取的资源,User-agent表示可以进行爬取的资源


浏览器发送HTTP请求的过程
在这里插入图片描述
注意:浏览器渲染出来的页面和爬虫请求的页面不一样的


版权声明:本文为qq_38973721原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/qq_38973721/article/details/106171915