防止百度,360等搜索引擎抓取/收录网站的方法总汇

时间: 2017-12-26阅读: 1722标签: 方法

搜索引擎的蜘蛛spider会不断爬行互联网数据,如果网站没有做出防止搜索引擎抓取的操作,就很容易被搜索引擎收录,这篇文章主要讲解如何防止百度,360等搜索引擎收录网站内容。


方法一:robots.txt

搜索引擎的蜘蛛spider在访问网站的时候,首先会检查该网站的根域下是否存在有 robots.txt的纯文本文件,这个文件的作用是用来告诉spider在您网站上的抓取范围。
User-agent:*表示和所有搜索引擎协议适用;
Disallow:/表示禁止抓取收录全站。  

禁止所有内容:

User-agent: *
Disallow: /

禁止访问网站的所有部分:

User-agent: *
Disallow: /css/
Disallow: /js/
Disallow: /admin/

禁止所有的搜索引擎访问css、js、admin目录。如果您的网站设置了robots.txt文件,如果在搜索结果中出现您网站的相关信息,那搜索结果中展示的一般是其他网站对您相关网页的描述。


方法二:网页代码方法

<head>与</head>之间设置meta:

<meta name="robots" content="noarchive">

通过这样设置就可以禁止搜索引擎抓取网站并显示网页快照。要允许其他搜索引擎显示快照,但仅防止百度显示,请使用以下标记:

<meta name="Baiduspider" content="noarchive">


方法三:判断访问来源

在服务器端判断访问来源,如果是蜘蛛的IP直接404或者阻止它访问即可。  


备注:

如果后面加了禁止代码,但是搜索引擎还可以搜索出来,因为搜索引擎索引数据库的更新需要时间。虽然Baiduspider已经停止访问您网站上的网页,但百度搜索引擎数据库中已经建立的网页索引信息,可能需要数月时间才会清除。  

站长推荐

1.阿里云: 本站目前使用的是阿里云主机,安全/可靠/稳定。点击领取2000元代金券、了解最新阿里云产品的各种优惠活动点击进入

2.腾讯云: 提供云服务器、云数据库、云存储、视频与CDN、域名等服务。腾讯云各类产品的最新活动,优惠券领取点击进入

3.广告联盟: 整理了目前主流的广告联盟平台,如果你有流量,可以作为参考选择适合你的平台点击进入

链接: http://www.fly63.com/article/detial/283

Javascript有重写吗?

JavaScript中有重写。有时子类并不想原封不动地继承父类的方法,而是想作一定的修改,这就需要采用方法的重写。方法重写又称方法覆盖。

html/css解决inline-block内联元素间隙的多种方法总汇

inline-blcok元素中间的空白符引起的间隙,处理方法总结包括:改变书写结构、使用font-size:0、使用margin负值、使用letter-spacing或word-spacing、丢失结束标签、W3C推荐 导航方法(兼容IE6等)、YUI的inline-block间隙处理等...

String 常用方法汇总

charAt()返回在指定位置的字符。charCodeAt()返回在指定的位置的字符的 Unicode 编码。concat()连接两个或更多字符串,并返回新的字符串。indexOf()返回某个指定的字符串值在字符串中首次出现的位置。

JavaScript中Array.find()方法如何使用?

find()方法返回通过测试(函数内判断)的数组的第一个元素的值。当数组中的元素在测试条件时返回 true 时, find()返回符合条件的元素,之后的值不会再调用执行函数。如果没有符合条件的元素返回undefined。

JS实现碰撞检测的方法分析

本文实例讲述了JS实现碰撞检测的方法。分享给大家供大家参考,具体如下:一个简单的碰撞检测例子,检测div1是否和div2发生碰撞,当div1碰到div2时,改变div2的颜色

js数组的内置方法

在前端开发中,我们要经常用到js中的数组的内置方法,在控制台中的打印中,我们可以看到数组中的内置方法。Array.concat()该方法可以合并一个或者多个数组,Array.copyWithin() 该方法复制数组内的某些值到到另一个索引位置

JavaScript 的 sort 方法

使用 sort() 方法对数组进行排序时,最好指定它的参数,否则会出现意料之外的结果,具体请往下看

Array数组的常用方法汇

concat()连接两个或更多的数组,并返回结果。every()检测数值元素的每个元素是否都符合条件。filter()检测数值元素,并返回符合条件所有元素的数组。

前端js常用方法封装

输入一个值,返回其数据类型;数组去重;字符串去重;深拷贝 浅拷贝;reverse底层原理和扩展;圣杯模式的继承;找出字符串中第一次只出现一次的字母;找元素的第n级父元素

js async的常用方法

async函数是Generator 函数的语法糖,async函数就是将 Generator 函数的星号(*)替换成async,将yield替换成await,仅此而已。async函数对Generator 函数的改进点有以下几点:

内容以共享、参考、研究为目的,不存在任何商业目的。其版权属原作者所有,如有侵权或违规,请与小编联系!情况属实本人将予以删除!

文章投稿关于web前端网站点搜索站长推荐网站地图站长QQ:522607023

小程序专栏: 土味情话心理测试脑筋急转弯幽默笑话段子句子语录成语大全运营推广