别瞎学了,我的爬虫与反爬虫学习之路(超详细超硬核系列-1)

今天我们来一起了解一下什么是爬虫 什么是反爬虫?

在了解什么是反爬虫手段之前,我们首先简单来看一看爬虫到底是什么?

Python爬虫入门教程!全网最全反爬虫系列

名词解释

  • 爬虫 —— 使用任何技术手段批量获取网站信息的一种方式,关键在批量。
  • 反爬虫 —— 使用任何技术手段,阻止别人批量获取自己网站信息的一种方式。关键也在于批量。
  • 误伤 —— 在反爬虫的过程中,错误的将普通用户识别为爬虫。误伤率高的反爬虫策略,效果再好也不能用。
  • 拦截 —— 成功地阻止爬虫访问。通常来说,拦截率越高的策略,误伤率就越高,因此要做权衡。
  • 资源 —— 机器成本与人力成本的总和。

什么是爬虫【资料获取】

在现在社会,网络上充斥着大量有用的数据,我们用上一些技术手段,就可以获取到大量的有价值数据。这里的"技术手段"就是指网络爬虫。

从功能上来讲,爬虫一般分为数据采集,处理,储存三个部分。

简单来说互联网是由一个个站点和网络设备组成的大网,我们通过浏览器访问站点,站点把HTML、JS、CSS代码返回给浏览器,这些代码经过浏览器解析、渲染,将丰富多彩的网页呈现我们眼前;

爬虫就是自动获取网页内容的程序,就像搜索引擎,Google等,每天都运行着庞大的爬虫系统,从全世界的网站中爬取数据,供用户检索时使用。但是也有恶意的爬虫,恶意的爬虫不仅会占用大量的网站流量,造成有真正需求的用户无法进入网站,影响网站或app的正常运行。

Python爬虫入门教程!全网最全反爬虫系列

Python非常适合用来开发网页爬虫,理由如下:
1、抓取网页本身的接口
python抓取网页文档的接口更简洁;相比其他动态脚本语言,如shell,python的urllib包提供了较为完整的访问网页文档的API。
很多网站对于生硬的爬虫抓取都是封杀的。这是我们需要模拟user agent的行为构造合适的请求,譬如模拟用户登陆、模拟session/cookie的存储和设置。在python里都有非常优秀的第三方包帮你搞定,如Requests,mechanize

2、网页抓取后的处理
抓取的网页通常需要处理,比如过滤html标签,提取文本等。python的beautifulsoap提供了简洁的文档处理功能,能用极短的代码完成大部分文档的处理。
其实以上功能很多语言和工具都能做,但是用python能够干得最快,最干净。

爬虫的基本流程:【资料获取】

用户获取网络数据的方式:

方式1:浏览器提交请求--->下载网页代码--->解析成页面

方式2:模拟浏览器发送请求(获取网页代码)->提取有用的数据->存放于数据库或文件中

爬虫要做的就是方式2;

 

1、发起请求

使用http库向目标站点发起请求,即发送一个Request

Request包含:请求头、请求体等 

Request模块缺陷:不能执行JS 和CSS 代码

2、获取响应内容

如果服务器能正常响应,则会得到一个Response

Response包含:html,json,图片,视频等

3、解析内容

解析html数据:正则表达式(RE模块),第三方解析库如Beautifulsoup,pyquery等

解析json数据:json模块

解析二进制数据:以wb的方式写入文件

4、保存数据

数据库(MySQL,Mongdb、Redis)

文件

常见的反爬虫措施

正是因为有爬虫对这个技术的存在,对于一般数据价值较高的网站,网站开发者都会给出一些针对网络爬虫的技术手段。这就是反爬虫。

我们也会对反爬虫进行细分,可以分为文本混淆反爬虫、行为验证反爬虫、信息校验反爬虫、动态渲染反爬虫等等。

Python爬虫入门教程!全网最全反爬虫系列

反爬虫的目的【资料获取】

初学者写的爬虫:简单粗暴有力量,不管对端服务器的压力,甚至会把网站爬挂掉了

数据保护:很多的数据对某些公司网站来说是比较重要的不希望被别人爬取

商业竞争问题:这里举个例子是关于京东和淘宝,假如京东内部通过程序爬取淘宝所有的商品信息,从而做对应策略这样对淘宝来说就造成了非常大的竞争。

Python爬虫入门教程!全网最全反爬虫系列

行为验证反爬虫

行为式验证码是一种较为流行的验证码。从字面来理解,就是通过用户的操作行为来完成验证,而无需去读懂扭曲的图片文字。常见的有两种:拖动式与点触式。

Python爬虫入门教程!全网最全反爬虫系列

根据用户识别图片之后,做出的选择来判断,当前是否是由正常的用户在进行请求,用于屏蔽掉技术含量不高的爬虫程序。

文本混淆反爬虫

文本混淆简单来讲就是如何有效地避免爬虫获取Web应用中重要的文字数据。反爬虫的前提是不能影响用户正常浏览网页和阅读文字内容,直接混淆文本很容易被看出来,因此开发者通常是利用字体之间的映射关系来实现混淆。

在这里通过对一些特殊文字进行字体映射,当网络爬虫在进行数据采集时无法直接获取到完整的数据,并且不影响正常用户的正常阅读。

动态渲染反爬虫

随着时代技术的不断迭代,越来越多的网站已经由传统的静态数据加载变为了动态数据加载,并且在动态加载的过程还伴随着越来越多的数据加密。

动态数据加载简单的理解,就是让浏览器先加载网站的大体框架,完成之后再发出异步的请求完成数据的填充,在发送请求的过程通过对请求参数的加密,来屏蔽掉非常低级的爬虫程序脚本。

例如:红人点数据集---js参数加密

Python爬虫入门教程!全网最全反爬虫系列

这里通过在发送异步请求时,校验关键参数,直接拦截一些最基本的爬虫请求,必须通过模拟参数加密的过程,才能正常的获取到数据。

爬虫与反爬虫是互联网开发工程师之间的斗智斗勇。

想要深入学习可以继续关注,接下来会更新一系列具体的网站反爬虫的解决方案。

如果您对编程有更多的兴趣,欢迎您私信我一起聊一聊,我们也会给您更加具体的建议和帮助!如果您喜欢小编的文章的话请别忘了一键三连呀~

最后,祝大家早日学有所成,拿到满意offer,快速升职加薪,走上人生巅峰。

参考文献

热门文章

暂无图片
编程学习 ·

C语言二分查找详解

二分查找是一种知名度很高的查找算法,在对有序数列进行查找时效率远高于传统的顺序查找。 下面这张动图对比了二者的效率差距。 二分查找的基本思想就是通过把目标数和当前数列的中间数进行比较,从而确定目标数是在中间数的左边还是右边,将查…
暂无图片
编程学习 ·

GMX 命令分类列表

建模和计算操作命令: 1.1 . 创建拓扑与坐标文件 gmx editconf - 编辑模拟盒子以及写入子组(subgroups) gmx protonate - 结构质子化 gmx x2top - 根据坐标生成原始拓扑文件 gmx solvate - 体系溶剂化 gmx insert-molecules - 将分子插入已有空位 gmx genconf - 增加…
暂无图片
编程学习 ·

一文高效回顾研究生课程《数值分析》重点

数值分析这门课的本质就是用离散的已知点去估计整体,就是由黑盒子产生的结果去估计这个黑盒子。在数学里这个黑盒子就是一个函数嘛,这门课会介绍许多方法去利用离散点最大化地逼近这个函数,甚至它的导数、积分,甚至微分方程的解。…
暂无图片
编程学习 ·

在职阿里5年,一个28岁女软测工程师的心声

简单的先说一下,坐标杭州,14届本科毕业,算上年前在阿里巴巴的面试,一共有面试了有6家公司(因为不想请假,因此只是每个晚上去其他公司面试,所以面试的公司比较少) ​ 编辑切换为居中…
暂无图片
编程学习 ·

字符串左旋c语言

目录 题目: 解题思路: 第一步: 第二步: 第三步: 总代码: 题目: 实现一个函数,可以左旋字符串中的k个字符。 例如: ABCD左旋一个字符得到BCDA ABCD左旋两个字符…
暂无图片
编程学习 ·

设计模式--观察者模式笔记

模式的定义与特点 观察者(Observer)模式的定义:指多个对象间存在一对多的依赖关系,当一个对象的状态发生改变时,所有依赖于它的对象都得到通知并被自动更新。这种模式有时又称作发布-订阅模式、模型-视图模式&#xf…
暂无图片
编程学习 ·

睡觉突然身体动不了,什么是睡眠痽痪症

很多朋友可能有这样的体验,睡觉过程中突然意识清醒,身体却动弹不了。这时候感觉非常恐怖,希望旁边有一个人推自己一下。阳光以前也经常会碰到这样的情况,一年有一百多次,那时候很害怕晚上到来,睡觉了就会出…
暂无图片
编程学习 ·

深入理解C++智能指针——浅析MSVC源码

文章目录unique_ptrshared_ptr 与 weak_ptrstd::bad_weak_ptr 异常std::enable_shared_from_thisunique_ptr unique_ptr 是一个只移型别(move-only type,只移型别还有std::mutex等)。 结合一下工厂模式,看看其基本用法&#xff…
暂无图片
编程学习 ·

@TableField(exist = false)

TableField(exist false) //申明此字段不在数据库存在,但代码中需要用到它,通知Mybatis-plus在做写库操作是忽略它。,.
暂无图片
编程学习 ·

Java Web day15

第十二章文件上传和下载 一、如何实现文件上传 要实现Web开发中的文件上传功能,通常需要完成两步操作:一.是在Web页面中添加上传输入项;二是在Servlet中读取上传文件的数据,并保存到本地硬盘中。 需要使用一个Apache组织提供一个…
暂无图片
编程学习 ·

【51nod 2478】【单调栈】【前缀和】小b接水

小b接水题目解题思路Code51nod 2478 小b接水 题目 输入样例 12 0 1 0 2 1 0 1 3 2 1 2 1输出样例 6解题思路 可以发现最后能拦住水的都是向两边递减高度(?) 不管两个高积木之间的的积木是怎样乱七八糟的高度,最后能用来装水的…
暂无图片
编程学习 ·

花了大半天写了一个UVC扩展单元调试工具

基于DIRECTSHOW 实现的,用的是MFC VS2019. 详见:http://www.usbzh.com/article/detail-761.html 获取方法 加QQ群:952873936,然后在群文件\USB调试工具&测试软件\UVCXU-V1.0(UVC扩展单元调试工具-USB中文网官方版).exe USB中文网 USB中文…
暂无图片
编程学习 ·

贪心(一):区间问题、Huffman树

区间问题 例题一:区间选点 给定 N 个闭区间 [ai,bi]请你在数轴上选择尽量少的点,使得每个区间内至少包含一个选出的点。 输出选择的点的最小数量。 位于区间端点上的点也算作区间内。 输入格式 第一行包含整数 N,表示区间数。 接下来 …
暂无图片
编程学习 ·

C语言练习实例——费氏数列

目录 题目 解法 输出结果 题目 Fibonacci为1200年代的欧洲数学家,在他的着作中曾经提到:「若有一只免子每个月生一只小免子,一个月后小免子也开始生产。起初只有一只免子,一个月后就有两只免子,二个月后有三只免子…
暂无图片
编程学习 ·

Android开发(2): Android 资源

个人笔记整理 Android 资源 Android中的资源,一般分为两类: 系统内置资源:Android SDK中所提供的已经定义好的资源,用户可以直接拿来使用。 用户自定义资源:用户自己定义或引入的,只适用于当前应用的资源…
暂无图片
编程学习 ·

零基础如何在短时间内拿到算法offer

​算法工程师是利用算法处理事物的职业 算法(Algorithm)是一系列解决问题的清晰指令,也就是说,能够对一定规范的输入,在有限时间内获得所要求的输出。 如果一个算法有缺陷,或不适合于某个问题,执…
暂无图片
编程学习 ·

人工智能:知识图谱实战总结

人工智能python,NLP,知识图谱,机器学习,深度学习人工智能:知识图谱实战前言一、实体建模工具Protegepython,NLP,知识图谱,机器学习,深度学习 人工智能:知识图…
暂无图片
编程学习 ·

【无标题】

这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注…