防止百度,360等搜索引擎抓取/收录网站的方法总汇

更新日期: 2017-12-26阅读: 3.9k标签: 索引

搜索引擎的蜘蛛spider会不断爬行互联网数据,如果网站没有做出防止搜索引擎抓取的操作,就很容易被搜索引擎收录,这篇文章主要讲解如何防止百度,360等搜索引擎收录网站内容。


方法一:robots.txt

搜索引擎的蜘蛛spider在访问网站的时候,首先会检查该网站的根域下是否存在有 robots.txt的纯文本文件,这个文件的作用是用来告诉spider在您网站上的抓取范围。
User-agent:*表示和所有搜索引擎协议适用;
Disallow:/表示禁止抓取收录全站。  

禁止所有内容:

User-agent: *
Disallow: /

禁止访问网站的所有部分:

User-agent: *
Disallow: /css/
Disallow: /js/
Disallow: /admin/

禁止所有的搜索引擎访问css、js、admin目录。如果您的网站设置了robots.txt文件,如果在搜索结果中出现您网站的相关信息,那搜索结果中展示的一般是其他网站对您相关网页的描述。


方法二:网页代码方法

<head>与</head>之间设置meta:

<meta name="robots" content="noarchive">

通过这样设置就可以禁止搜索引擎抓取网站并显示网页快照。要允许其他搜索引擎显示快照,但仅防止百度显示,请使用以下标记:

<meta name="Baiduspider" content="noarchive">


方法三:判断访问来源

在服务器端判断访问来源,如果是蜘蛛的IP直接404或者阻止它访问即可。  


备注:

如果后面加了禁止代码,但是搜索引擎还可以搜索出来,因为搜索引擎索引数据库的更新需要时间。虽然Baiduspider已经停止访问您网站上的网页,但百度搜索引擎数据库中已经建立的网页索引信息,可能需要数月时间才会清除。  

链接: https://www.fly63.com/article/detial/283

HTML网页 搜索引擎抓取的影响有哪些

如果你的网站升级改版,并且针对部分URL进行了修正,那么它可能急需搜索引擎抓取,重新对页面内容进行评估。大部分站长认为,自百度熊掌号上线以来,它解决了收录问题,实际上目标URL,只有不停的被抓取,它才可以不断的重新评估权重,从而提升排名。

Mysql索引

索引用于快速找出某个列中有一特定值的行。不使用索引,MySql必须从第一条记录开始读完整个表,直到找出相关的行。表越大,查询数据所花费的时间越多。

网站搜索引擎优化,值得关注的4个策略有哪些?

在做网站搜索引擎优化的过程中,对于企业站而言,由于SEO人员都是处于执行层面,甚至即使你有权制定SEO优化方案,偶尔也是草草就上手操作。当你运营到一定阶段的时候

Mysql使用索引可能失效的场景

WHERE字句的查询条件里有不等于号(WHERE column!=…),MYSQL将无法使用索引;类似地,如果WHERE字句的查询条件里使用了函数(如:WHERE DAY(column)=…),MYSQL将无法使用索引

js判断访问来源是来自搜索引擎还是直接访问

在JavaScript中,document对象有很多属性,其中有3个与对网页的请求有关的属性,它们分别是URL、domain和referrer。referrer属性中则保存着链接到当前页面的那个页面的URL

编程语言中索引签名是什么?

最近在参与KusionStack 内置的领域语言 ——KCL配置语言编译器 的开发,语言的语法中包括一个“索引签名”的概念,在参与社区讨论的时候发现很多小伙伴不明白这个“索引签名”是什么,于是自己也想了一下,发现自己也只是知道是什么样子

内容以共享、参考、研究为目的,不存在任何商业目的。其版权属原作者所有,如有侵权或违规,请与小编联系!情况属实本人将予以删除!