广告
返回顶部
首页 > 资讯 > 精选 >有哪些让网站页面内容不被抓取的技巧
  • 432
分享到

有哪些让网站页面内容不被抓取的技巧

2023-06-10 15:06:48 432人浏览 薄情痞子
摘要

本篇内容主要讲解“有哪些让网站页面内容不被抓取的技巧”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“有哪些让网站页面内容不被抓取的技巧”吧!  可能有的朋友会奇怪,网站的页面不是让搜索引擎抓的越多

本篇内容主要讲解“有哪些让网站页面内容不被抓取的技巧”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“有哪些让网站页面内容不被抓取的技巧”吧!

  可能有的朋友会奇怪,网站的页面不是让搜索引擎抓的越多越好吗,怎么还会有怎么让网站页面内容不被抓取的想法。

  首先,一个网站可以分出去的权重是有限,哪怕是Pr10的站,也不可能无限的分权重出去。这权重包括链到别人网站的处链以及自己网站内的内链。

  外链的话,除非是想坑被链的人。否则外链都是需要让搜索引擎所抓取。这不在本文讨论范围之内。

  而内链,因为有些网站有不少重复或冗余的内容。比如一些按条件查询的搜索结果。特别是一些B2C站,在专门查询页或在所有产品页面的某个位置内,都可以按产品类型,型号,颜色,大小等进行分类搜索。这些页面虽然对浏览者来说是极大的方便,但对搜索引擎来说,这可是耗费蜘蛛极大的抓取时间,特别是网站页面较多时。同时也会分散页面权重,对SEO不利。

  另外网站管理登陆页面,备份页面,测试页面等等,也是站长不想让搜索引擎所收录的。

  所以就有需要让网页的某些内容,或某些页面不被搜索引擎所收录。

  下面笔者先介绍一下较为有效的几种方法:

  1.在FLASH展示不想被收录的内容

  众所周知,搜索引擎对FLASH的内容抓取能力有限,不能完全抓取所有FLASH内的所有内容。但遗憾的是,也不能完全保证FLASH的所有内容都不会被抓取。因为谷歌和Adobe正努力的实现FLASH抓取技术。

  2.使用robos文件

  这是暂时最有效的方法,但有个很大的缺点。就是不传出任何的内容及链接。大家知道,在SEO来说比较健康的页面应该是有进有出的。有外链的链入,同时也页面内也需要有链到外部网站的链接,所以robots文件控制,让此页面只进不出,搜索引擎也不知道内容是什么。会把此页定为低质量页面。权重有可能受一定的惩罚。这个多用于网站管理页面,测试页面等。

  3.使用nofollow标签包裹不想被收录的内容

  这个方法也不能完全保证不被收录,因为这并不是严格要求遵守的标签。另外,如果有外部网站链向了有nofollow标签的页面。这样就很有可能会被搜索引擎抓取。

  4.用Meta Noindex标签加上follow标签

  这个方法可以做到防止收录而且还能传递出权重。要不要传递,看网站建设站长自己的需要。这个方法的缺点是,也是会较大的浪费蜘蛛的抓取页面时间。

  5.用robots文件的同时在页面上使用iframe标签展示需要搜索引擎收录的内容robots文件可以阻止iframe标签以外的内容被收录。所以,可以把不想收录的内容放到正常页面标签下。而想被收录的内容放在iframe标签内。

  紧接着,再说一下已经失效的方法,大家以后不要用这些方法了。

  1.使用表格

  谷歌和百度早已经能抓取表格用的内容了,无法阻止收录。

  2.使用javascriptajax技术

  以现在的技术来说,Ajax和javascript现在的最终运算的结果还是以html的形式传给浏览器以作显示,所以这同样无法阻止收录。

到此,相信大家对“有哪些让网站页面内容不被抓取的技巧”有了更深的了解,不妨来实际操作一番吧!这里是编程网网站,更多相关内容可以进入相关频道进行查询,关注我们,继续学习!

--结束END--

本文标题: 有哪些让网站页面内容不被抓取的技巧

本文链接: https://www.lsjlt.com/news/260956.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

本篇文章演示代码以及资料文档资料下载

下载Word文档到电脑,方便收藏和打印~

下载Word文档
猜你喜欢
  • 有哪些让网站页面内容不被抓取的技巧
    本篇内容主要讲解“有哪些让网站页面内容不被抓取的技巧”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“有哪些让网站页面内容不被抓取的技巧”吧!  可能有的朋友会奇怪,网站的页面不是让搜索引擎抓的越多...
    99+
    2023-06-10
  • Python爬虫在不被阻止的情况下抓取网站的技巧有哪些
    这篇文章主要讲解了“Python爬虫在不被阻止的情况下抓取网站的技巧有哪些”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“Python爬虫在不被阻止的情况下抓取网站的技巧有哪些”吧!  1、检...
    99+
    2023-06-25
  • 让网站内容被秒收的方法有哪些
    这篇文章主要介绍“让网站内容被秒收的方法有哪些”,在日常操作中,相信很多人在让网站内容被秒收的方法有哪些问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”让网站内容被秒收的方法有哪些”的疑惑有所帮助!接下来,请跟...
    99+
    2023-06-10
  • 网站维护页面的列表制作技巧有哪些
    这篇文章主要为大家展示了“网站维护页面的列表制作技巧有哪些”,内容简而易懂,条理清晰,希望能够帮助大家解决疑惑,下面让小编带领大家一起研究并学习一下“网站维护页面的列表制作技巧有哪些”这篇文章吧。1. 保持你的维护页面简单而又用维护页面的全...
    99+
    2023-06-08
  • 美国服务器网站不被收录的优化技巧有哪些
    美国服务器网站不被收录的优化技巧有:1、检查服务器域名是否存在不良记录;2、选择合适的服务器配置,防止配置不足导致网站不稳定的情况;3、正确设置robots协议文件;4、网站需使用扁平化结构,URL路径3层以内;5、网站文章内容需要保持高质...
    99+
    2022-10-17
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作