网络爬虫程序员被抓,我们还敢爬虫吗?

更新日期: 2019-09-17阅读: 3k标签: 爬虫

最近,某大数据科技公司因为涉嫌非法抓取某招聘网站用户的简历信息,公司被查封,负责编写抓取程序的程序员也将面临坐牢。


事情的大概经过是这样的:

某大数据科技公司老板丢给一个小小的程序员一个网站,告诉他把这个网站的数据抓取下来,咱们做一做分析。这个小小的程序员就吭哧吭哧的写了一段抓取代码,测试了一下,程序没问题,可以正常的把这个网站的数据给抓取下来,然后就毫不犹豫的上线了。过了几天,这个小小的程序员发现抓取的速度有点慢啊,然后他就将1个线程改成10个线程,发布上线,开始抓取,程序跑的没毛病。

过了一段时间,网站主的老板发现最近网站访问量激增,并且还经常宕机。然后组织公司程序员排查系统问题,经过排查发现,系统某一个接口频繁访问,遂怀疑有人恶意攻击,于是就报案了。警察通过访问来源IP顺藤摸瓜,查到小小程序员所在的公司,把公司全员200人全部扣留调查,这名小小程序员由于负责抓取程序的编写,将面临坐牢。小小程序员一脸懵逼,我只负责老板交给我的任务,我犯什么法了?

看了这个新闻,程序员朋友还不赶快将你的爬虫程序下线,要不下一个抓的就是你,怕不怕?

爬虫技术对于大多数程序员来说一点不陌生,大多数程序员都干过爬虫的事情吧!我记得我刚毕业入职的第一家公司我就是负责爬虫的。主要爬取各大高校官网的新闻资讯信息,然后利用这些信息给高校做手机微官网。当然,我们是经过了大多数高校的默认的。

今天我们暂且不论爬虫是否违法,这个问题我们也论不清楚。国内现在这么多做大数据分析公司,他们可以提供各种数据分,他们的数据是从哪里来的?有几家是正当来源?恐怕大多都是爬来的。今天我们细数那些java爬虫技术。


一、Jsoup

html解析器,可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的api,可通过domcss以及类似于jquery的操作方法来取出和操作数据。这也是我最早使用的爬虫技术。


二、HtmlUnit

HtmlUnit是一款java的无界面浏览器程序库。它可以模拟HTML文档,并提供相应的API,允许您调用页面,填写表单,点击链接等操作。它是一种模拟浏览器以用于测试目的的方法。使用HtmlUnit你就感觉你是在操作浏览器,他对于css和js都可以很好的支持。


三、Selenium

Selenium是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中,就像真正的用户在操作一样。支持的浏览器包括IE(7, 8, 9, 10, 11),Mozilla Firefox,Safari,Google Chrome,Opera等。

Selenium我觉得是最好的爬虫工具了,因为它完全模拟浏览器。由程序掉起浏览器,模拟人的操作。关于Selenium在我的文章[Selenium利器!解放测试程序员的双手]有专门讲解。

最后,爬虫有风险,使用需谨慎。希望广大程序员朋友在使用爬虫技术的时候,要有数据隐私的意识。


以下内容来源网络:

如果爬虫程序采集到公民的姓名、身份证件号码、通信通讯联系方式、住址、账号密码、财产状况、行踪轨迹等个人信息,并将之用于非法途径的,则肯定构成非法获取公民个人信息的违法行为。

除此之外,根据相关规定,对于违反国家有关规定,向他人出售或者提供公民个人信息,情节严重的,窃取或者以其他方法非法获取公民个人信息的,均可构成成“侵犯公民个人信息罪”,处三年以下有期徒刑或者拘役,并处或者单处罚金;情节特别严重的,处三年以上七年以下有期徒刑,并处罚金。

原文 http://developer.51cto.com/art/201910/604481.htm

链接: https://www.fly63.com/article/detial/5982

web爬虫抓取技术的门道,对于网络爬虫技术的攻与防

从爬虫的攻防角度来讲,最简单的爬虫,是几乎所有服务端、客户端编程语言都支持的http请求,只要向目标页面的url发起一个http get请求,即可获得到浏览器加载这个页面时的完整html文档,这被我们称之为“同步页”。

大话爬虫的实践技巧

数据收集的一种是方式是通过上报API进行自身平台用户交互情况的捕获,还有一种手段是通过开发爬虫程序,爬取竞品平台的数据,后面就重点说下爬虫的应用场景和实践中会遇到的问题和反反爬虫的一些套路与技巧。

网络爬虫_基于各种语言的开源网络爬虫总汇

网络爬虫是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。是互联网爬虫,蜘蛛,数据采集器,网页解析器的汇总,下面介绍各语言实现网络爬虫的开源框架

爬虫最终杀手锏 --- PhantomJS 详解(附案例)

PhantomJS无界面的浏览器:认识PhantomJS、网站模拟登录豆瓣网、动态页面模拟点击(unittest -python测试模块)、执行JavaScript代码、模拟最新无界面浏览器...

什么是网络爬虫,网络爬虫有什么用?

网络爬虫在数据采集方面有好的优势,比如采集速度快,比人来操作可能要快一千倍一万倍都不止;方便将获取的数据进行相关的清洗加工以及储存工作;代码可重复使用,或者说是一劳永逸。

爬虫解决网页重定向问题

每个网站主页是网站资源的入口,当重定向发生在网站主页时,如果不能正确处理就很有可能会错失这整个网站的内容。 笔者编写的爬虫在爬取网页时遇到了三种重定向的情况。

爬虫 解决网页ip限制的问题的八种方法

之前由于公司项目需要,采集过google地图数据,还有一些大型网站数据。 有小部分网站的防范措施比较弱,可以伪装下IP,修改X-Forwarded-for(貌似这么拼。。。)即可绕过。ser agent 伪装和轮换 ,使用代理 ip 和轮换

到百度云加速,网页内容爬不到的快速解决

在爬网站时,发现网站做了百度云加速,每次访问首页时要求输入验证码,才能打开网站首页。经过分析网站,发现如果你拿到一个当期可用的Cooikes后,你就可以一直爬数据,且并不会触发百度验证输入

反爬经验与理论基础

完整的反爬体系有三大部分工作要做:感知识别、策略分析、监控封禁。数据支撑:爬虫指纹、设备指纹、风险UA、IP库等,不同端指纹的mapping等。

node.js主从分布式爬虫

node.js是一款基于google的V8引擎开发javascript运行环境。在高性能的V8引擎以及事件驱动的单线程异步非阻塞运行模型的支持下,node.js实现的web服务可以在没有Nginx的http服务器做反向代理的情况下实现很高的业务并发量。

点击更多...

内容以共享、参考、研究为目的,不存在任何商业目的。其版权属原作者所有,如有侵权或违规,请与小编联系!情况属实本人将予以删除!