如果没有规范搜索引擎机器人爬(抓取)网页,将会对网站造成那些的影响?

如果没有规范搜索引擎机器人爬(抓取)网页,将会对网站造成那些的影响?

在本文中,我将讨论搜索引擎抓取工具和搜索引擎机器人活动不受控制的影响,可能会对您帐户的资源使用造成影响。

 

为什么需要控制搜索引擎机器人?

用搜索引擎机器人来爬(抓取)网际网络,查找和索引新的资讯内容并提供浏览者资讯搜索,这就是网际网络上所用来散佈讯息的方式。

 

如果您希望在Google或Bing等大型搜索引擎中找到您的网站内容,这是非常好的方式,不过在相同的时间上,搜索引擎机器人与真的人拜访你的网站的活动方式是非常不同的,真的人来你的网站,有可能花费一些时间阅读当前的网页,他们会浏览的更多资讯,当他们愿意在网站上点击更多的链接时,很可能是对这个网站很有兴趣。

 

搜索机器人拜访你的网站,主要的任务是要抓取你网站的上的内容,所以它们最可能从首页开始,它们轻鬆的的找出网站的每一个链接一个接著一个,直到发现全部的内容。

 

所以一个搜索引擎机器人访客,可能潜在影响数百个使用者资源,就算没有上千个访客在你的网站上,一个资源使用到极限的网站,最后可能会让网站停止运作,如果只允许真的人拜访的话,这是可以避免的,并且设定只有好的搜索机器人可以进入你的网站,所以这是很重要的观念。

 

如何控制搜索机器人?

幸运的是,大多数的守规矩的搜索机器人,是会跟随一个标准化的robots.txt规则文件,如果你需要进一步的了解,如何阻挡搜索机器人检索你的网站,你可以观看这篇文章「如何使用robots.txt阻止搜索引擎爬(抓取)你的网站?

 

你也可以阅读此篇「如何在Google网站管理员工具中设置延迟爬(抓取)你的网站」 这个章节有步骤说明,如何控制Google的爬虫机器人。

 

不幸的是,不是全部的自动化机器人都会顺从robots.txt规则,在这种情况下,最好的方式就是学习「使用.htaccess去阻止不需要的访客到你的网站

未经允许不得转载:作者:小马哥, 转载或复制请以 超链接形式 并注明出处 小马哥 - 互联网资源
原文地址:《如果没有规范搜索引擎机器人爬(抓取)网页,将会对网站造成那些的影响?》 发布于2020-05-18

赞(1) 打赏 生成海报
公告:尽量注册然后付费,以免购买时有概率会漏单!

评论 抢沙发

评论前必须登录!

  注册



长按图片转发给朋友

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏

Vieu4.5主题
专业打造轻量级个人企业风格博客主题!专注于前端开发,全站响应式布局自适应模板。
切换注册

登录

忘记密码 ?

切换登录

注册