防止百度,360等搜索引擎抓取/收录网站的方法总汇

时间: 2017-12-26阅读: 2418标签: 方法

搜索引擎的蜘蛛spider会不断爬行互联网数据,如果网站没有做出防止搜索引擎抓取的操作,就很容易被搜索引擎收录,这篇文章主要讲解如何防止百度,360等搜索引擎收录网站内容。


方法一:robots.txt

搜索引擎的蜘蛛spider在访问网站的时候,首先会检查该网站的根域下是否存在有 robots.txt的纯文本文件,这个文件的作用是用来告诉spider在您网站上的抓取范围。
User-agent:*表示和所有搜索引擎协议适用;
Disallow:/表示禁止抓取收录全站。  

禁止所有内容:

User-agent: *
Disallow: /

禁止访问网站的所有部分:

User-agent: *
Disallow: /css/
Disallow: /js/
Disallow: /admin/

禁止所有的搜索引擎访问cssjs、admin目录。如果您的网站设置了robots.txt文件,如果在搜索结果中出现您网站的相关信息,那搜索结果中展示的一般是其他网站对您相关网页的描述。


方法二:网页代码方法

<head>与</head>之间设置meta:

<meta name="robots" content="noarchive">

通过这样设置就可以禁止搜索引擎抓取网站并显示网页快照。要允许其他搜索引擎显示快照,但仅防止百度显示,请使用以下标记:

<meta name="Baiduspider" content="noarchive">


方法三:判断访问来源

在服务器端判断访问来源,如果是蜘蛛的IP直接404或者阻止它访问即可。  


备注:

如果后面加了禁止代码,但是搜索引擎还可以搜索出来,因为搜索引擎索引数据库的更新需要时间。虽然Baiduspider已经停止访问您网站上的网页,但百度搜索引擎数据库中已经建立的网页索引信息,可能需要数月时间才会清除。  

站长推荐

1.云服务推荐: 国内主流云服务商,各类云产品的最新活动,优惠券领取。地址:阿里云腾讯云华为云

链接: http://www.fly63.com/article/detial/283

html/css解决inline-block内联元素间隙的多种方法总汇

inline-blcok元素中间的空白符引起的间隙,处理方法总结包括:改变书写结构、使用font-size:0、使用margin负值、使用letter-spacing或word-spacing、丢失结束标签、W3C推荐 导航方法(兼容IE6等)、YUI的inline-block间隙处理等...

Javascript中 toFixed

简单来说就是:四舍六入五考虑,五后非零就进一,五后为零看奇偶,五前为偶应舍去,五前为奇要进一。但是不论引入toFixed解决浮点数计算精度缺失的问题也好,它有没有使用银行家舍入法也罢,都是为了解决精度的问题

css属性中的calc方法

calc() 函数用于动态计算长度值。需要注意的是,运算符前后都需要保留一个空格,例如:width: calc(100% - 10px);任何长度值都可以使用calc()函数进行计算;

JS实现碰撞检测的方法分析

本文实例讲述了JS实现碰撞检测的方法。分享给大家供大家参考,具体如下:一个简单的碰撞检测例子,检测div1是否和div2发生碰撞,当div1碰到div2时,改变div2的颜色

什么是javascript的私有方法?

私有方法是只有父类可以访问的方法和属性,他与静态方法一致,只是表现形式不一样。构造器中的var变量和参数都是私有方法。私有成员由构造函数生成。构造函数的普通变量和参数成为私有成员。

Number 常用方法汇总

toExponential()把对象的值转换为指数计数法。toFixed()把数字转换为字符串,并对小数点指定位数。toLocaleString()把数字转换为字符串,使用本地数字格式顺序。

Javascript有重写吗?

JavaScript中有重写。有时子类并不想原封不动地继承父类的方法,而是想作一定的修改,这就需要采用方法的重写。方法重写又称方法覆盖。

js中split,splice,slice方法之间的差异_splice()、slice()、split()函数的区分

Split是切割字符串的一种方法,该方法主要用于把一个字符串分割成字符串数组。splice()方法向/从数组中添加/删除元素,然后返回被删除的元素组成的数组。slice()方法主要用于截取数组,并返回截取到的新数组。

vue cached、camelize方法理解

驼峰转换的主要原理,主要是replace方法的使用(以下内容主要针对当前例子,详细使用见:W3school:JavaScript replace() 方法或MDN:String.prototype.replace())

Js手动实现call和apply方法

需要考虑传入的thisArg的多种类型,将函数设置成thisArg的属性,来实现this的绑定,调用完成后需要delete该属性,使用eval来实现需要传参给该函数的情况

点击更多...

内容以共享、参考、研究为目的,不存在任何商业目的。其版权属原作者所有,如有侵权或违规,请与小编联系!情况属实本人将予以删除!