很看题主可能是不太了解爬虫，以下给你普及一下网络爬虫吧

关于网络爬虫的概念，我们先来瞅瞅维基百科（Wikipedia）上面的定义：

网络爬虫（英语：web crawler），也叫网上蜘蛛（spider），是一种用来自动浏览万维网的网络机器人。其目的一般为编纂网络索引。

这里提到的编纂网络索引，就是搜索引擎干的事情。我们对搜索引擎并不陌生，Google、百度等搜索引擎可能每天都在帮我们快速获得信息。可能小猿们要问，搜索引擎的工作过程是怎样的呢？

首先，就是有网络爬虫不断抓取各个网站的网页，存放到搜索引擎的数据库；

接着，索引程序读取数据库的网页进行清理，建立倒排索引；

最后，搜索程序接收用户的查询关键词，去索引里面找到相关内容，并通过一定的排序算法（Pagerank等）把最相关最好的结果排在最前面呈现给用户。

看上去简简单单的三个部分，却构成了强大复杂的搜索引擎系统。而网络爬虫是其中最基础也很重要的一部分，它决定着搜索引擎数据的完整性和丰富性。我们也看到网络爬虫的主要作用是获取数据。

由此简单地说，网络爬虫就是获取互联网公开数据的自动化工具。

这里要强调一下，网络爬虫爬取的是互联网上的公开数据，而不是通过特殊技术非法入侵到网站服务器获取的非公开数据。

可能你要问，什么是"公开数据”呢？简而言之，就是网站上公开让用户浏览、获取的数据。

虽然数据是公开的，但是当某人或机构（如，搜索引擎）大量收集这些数据并因此获利时，也会让数据生产方——网站很不爽，由此而产生法律纠纷。比如，早些年Google因此而惹上官司。

网站们看着搜索引擎因为搜索引擎抓取自己的内容而获利不爽，但也因为搜索引擎带来的流量而高兴不已，于是就出现了网站主动进行搜索引擎优化（SEO, Search Engine Optimization），也就是告诉搜索引擎，我这里的内容好，快来抓取吧！

搜索引擎和网站的博弈，催生了一个君子协议： robots.txt。网站在自己的网站上放上这个文件，告诉爬虫哪些内容可以抓，哪些内容不可以抓；搜索引擎读取网站的robots.txt来知道自己的抓取范围，同时也在访问网站时通过User-Agent来向网站表明自己的身份（这种表明也是君子协议，技术上很容易假扮他人），比如，Google的爬虫叫做Googlebot，百度的爬虫叫做Baiduspider。这样，二者和平共处，互惠互利。

二、大数据时代的网络爬虫

时代在发展，数据变得越来越重要，"大数据”已经成为各行各业讨论的话题，人们对数据的渴望也变成贪婪，数据也就成了"石油”，爬虫也就成了"钻井机”。

为了获取石油，人们使用钻井机；为了获取数据，人们使用爬虫。为了获得数据，人们把互联网钻的是"千疮百孔”。哈哈，这里有些夸张。但人们对数据的获取，已经打破的君子协定，和网站们玩起了猫捉老鼠的游戏，展开了道高一尺魔高一丈的较量。

为什么说是较量呢？因为大量爬虫的行为会给网站带来网络带宽、服务器计算力等方面很大的压力，却几乎不带来任何利益。为了降低这种毫无利益的压力和避免自己的数据被他人集中收集，网站肯定要通过技术手段来限制爬虫；另一方面，爬虫为了获取石油般的数据，就想方设法来突破这种限制。

对于这种较量的理解，还是看活生生的例子来得更透彻。

你有没有花几十块钱让某个软件帮你抢火车票？

攻： 抢票爬虫会不断访问12306来获得火车票座位数据，并进而购买火车票；

防： 12306网站出了变态的认证码，人都经常识别错误。

攻： 研究网站的秒杀机制，提前写好爬虫，秒杀时刻，人快不过机器；

防： 有些秒杀的宣传作用很大就懒得防；有些秒杀机制复杂到你很难写出对应的爬虫；有些秒杀成功被发现作弊也会被取消。

爬虫变得越来越多，越来越肆无忌惮，网站也不得不使用各种技术手段来禁止或限制爬虫。这些手段大致包括：

使用账户保护数据，数据仅对登录用户可见；

限制IP访问频率，甚至封锁IP；

输入验证码以获得访问权限；

数据在服务器端加密，浏览器端解密；

而这些手段也是爬虫在技术实现中要解决和突破的问题。

Python爬虫学习路线分享给大家

（一）如何学习Python

学习Python大致可以分为以下几个阶段：

1.刚上手的时候肯定是先过一遍Python最基本的知识，比如说：变量、数据结构、语法等，基础过的很快，基本上1~2周时间就能过完了，我当时是在这儿看的基础：Python 简介 | 菜鸟教程

上面进行练习。如果时间充裕的话可以买一本讲Python基础的书籍比如《Python编程》，阅读这些书籍，在巩固一遍基础的同时你会发现自己诸多没有学习到的边边角角，这一步是对自己基础知识的补充。

5.Python库是开发者利器，用这些库你可以做很多很多东西，最常见的网络爬虫、自然语言处理、图像识别等等，这些领域都有很强大的Python库做支持，所以当你学了Python库之后，一定要第一时间进行练习。

6.学习使用了这些Python库，此时的你应该是对Python十分满意，也十分激动能遇到这样的语言，就是这个时候不妨开始学习Python数据结构与算法，Python设计模式，这是你进一步学习的一个重要步骤：faif/python-patterns

7.当度过艰难的第六步，此时选择你要研究的方向，如果你想做后端开发，不妨研究研究Django，再往后，就是你自己自由发挥了

（二）一些Python免费课程推荐

适用人群：Python零基础的初学者、Web开发程序员、运维人员、有志于从事互联网行业以及各领域应用Python的人群

? Python交互式编程入门的课程主页

? Python交互编程入门（第2部分）的课程主页

Python实战：一周学会爬取网页

Python的教程网站推荐：程序员生活网 />

（三）Python爬虫需要哪些知识？

要学会使用Python爬取网页信息无外乎以下几点内容：

2、知道网页信息如何呈现

3、了解网页信息如何产生

4、学会如何提取网页信息

第一步Python是工具，所以你必须熟练掌握它，要掌握到什么程度呢？如果你只想写一写简单的爬虫，不要炫技不考虑爬虫效率，你只需要掌握：

你甚至不需要掌握函数、异步、多线程、多进程，当然如果想要提高自己小爬虫的爬虫效率，提高数据的精确性，那么记住最好的方式是去系统的学习一遍Python，去哪儿学习？Python教程

假设已经熟悉了最基础的Python知识，那么进入第二步：知道网页信息如何呈现？你首先要知道所需要抓取的数据是怎样的呈现的，就像是你要学做一幅画，在开始之前你要知道这幅画是用什么画出来的，铅笔还是水彩笔...可能种类是多样的，但是放到网页信息来说这儿只有两种呈现方式：

HTML是用来描述网页的一种语言

JSON是一种轻量级的数据交换格式

假设你现在知道了数据是由HTML和JSON呈现出来的，那么我们紧接着第三步：数据怎么来？数据当然是从服务器反馈给你的，为什么要反馈给你？因为你发出了请求。

"Hi~ ，服务器我要这个资源”

"已经收到HTML或者JSON格式的数据”

这个请求是什么请求？要搞清楚这一点你需要了解一下http的基础知识，更加精确来说你需要去了解GET和POST是什么，区别是什么。

很高兴你使用的是Python，那么你只需要去掌握好快速上手 - Requests 2.10.0 文档，requests可以帮你模拟发出GET和POST请求，这真是太棒了。

饭菜已经备好，两菜一汤美味佳肴，下面就是好好享受了。现在我们已经拿到了数据，我们需要在这些错乱的数据中提取我们需要的数据，这时候我们有两个选择。

Python正则表达式指南 ，再大再乱的内容，哪怕是大海捞针，只要告诉我这个针的样子我都能从茫茫大海中捞出来，强大的正则表达式是你提取数据的不二之选。

Beautiful Soup 4.2.0 文档，或许我们有更好的选择，我们把原始数据和我们想要的数据的样子扔个这个Beautifulsoup，然后让它帮我们去寻找，这也是一个不错的方案，但是论灵活性，第二招还是略逊于第一招。

最厉害的招式莫过于结合第一招和第二招了，打破天下无敌手。

基础知识我都会，可是我还是写不了一个爬虫啊！

以下这些项目，你拿来学习学习练练手。

一些教学项目你值得拥有：

? 04. 另一种抓取方式

（四）Python爬虫进阶

爬虫无非分为这几块：分析目标、下载页面、解析页面、存储内容，其中下载页面不提。分析目标

所谓分析就是首先你要知道你需要抓取的数据来自哪里？怎么来？普通的网站一个简单的POST或者GET请求，不加密不反爬，几行代码就能模拟出来，这是最基本的，进阶就是学会分析一些复杂的目标，比如说：淘宝、新浪微博登陆以及网易云的评论信息等等。解析页面

解析页面主要是选择什么库或者那些库结合能使解析速度更快，可能你一开始你通过种种地方了解到了bs库，于是你对这个库很痴迷，以后只要写爬虫，总是先写上：

当然bs已经很优秀了，但是并不代表可以用正则表达式解析的页面还需要使用bs，也不代表使用lxml能解决的还要动用bs，所以这些解析库的速度是你在进阶时要考虑的问题。存储内容

刚开始学爬虫，一般爬取的结果只是打印出来，最后把在终端输出的结果复制粘贴保存就好了；后来发现麻烦会用上xlwt/openpyxl/csv的把存储内容写入表格，再后来使用数据库sqlite/mysql/neo4j只要调用了库都很简单，当然这是入门。

进阶要开始学习如何选择合适的数据库，或者存储方式。当爬取的内容过千万的时候，如何设计使存储速度更快，比如说当既有人物关系又有人物关系的时候，一定会用neo4j来存储关系，myslq用来存储用户信息，这样分开是因为如果信息全部存入neo4j，后期的存储速度经十分的慢。

当你每个步骤都能做到很优秀的时候，你应该考虑如何组合这四个步骤，使你的爬虫达到效率最高，也就是所谓的爬虫策略问题，爬虫策略学习不是一朝一夕的事情，建议多看看一些比较优秀的爬虫的设计方案，比如说Scrapy。

除了爬取策略以外，还有几点也是必备的：代理策略以及多用户策略

代理是爬虫进阶阶段必备的技能，与入门阶段直接套用代理不同，在进阶阶段你需要考虑如何设计使用代理策略，什么时候换代理，代理的作用范围等等，多用户的抓取策略考虑的问题基本上与代理策略相同。增量式抓取以及数据刷新

比如说你抓取的是一个酒店网站关于酒店价格数据信息的，那么会有这些问题：酒店的房型的价格是每天变动的，酒店网站每天会新增一批酒店，那么如何进行存储、如何进行数据刷新都是应该考虑的问题。

3.验证码相关的一些问题

有很多人提到验证码，我个人认为验证码不是爬虫主要去解决的问题，验证码不多的情况考虑下载到本地自己输入验证码，在多的情况下考虑接入打码平台。

（五）Python爬虫面试指南

前段时间快要毕业，而我又不想找自己的老本行Java开发了，所以面了很多Python爬虫岗位。因为我在南京上学，所以我一开始只是在南京投了简历，我一共面试了十几家企业，其中只有一家没有给我发offer，其他企业都愿意给到10K的薪资，不要拿南京的薪资水平和北上深的薪资水平比较，结合面试常问的问题类型说一说我的心得体会。

因为面试的是Python爬虫岗位，面试官大多数会考察面试者的基础的Python知识，包括但不限于：

? Python的一些常用内置库，比如多线程之类的

第二点：数据结构与算法

数据结构与算法是对面试者尤其是校招生面试的一个很重要的点，当然小公司不会太在意这些，从目前的招聘情况来看对面试者的数据结构与算法的重视程度与企业的好坏成正比，那些从不问你数据结构的你就要当心他们是否把你当码农用的，当然以上情况不绝对，最终解释权归面试官所有。

最重要也是最关键的一点当然是你的Python爬虫相关的知识与经验储备，这通常也是面试官考察的重点，包括但不限于：

? 你遇到过的反爬虫的策略有哪些？

? 你常用的反反爬虫的方案有哪些？

? 你用过多线程和异步吗？除此之外你还用过什么方法来提高爬虫效率？

? 有没有做过增量式抓取？

? 对Python爬虫框架是否有了解？

第四点：爬虫相关的项目经验

爬虫重在实践，除了理论知识之外，面试官也会十分注重爬虫相关的项目：

? 你做过哪些爬虫项目？如果有Github最好

? 你认为你做的最好的爬虫项目是哪个？其中解决了什么难题？有什么特别之处？

以上是我在面试过程中，会碰到的一些技术相关的问题的总结，当然面试中不光是技术这一点，但是对于做技术的，过了技术面基本上就是薪资问题了。

（六）推荐一些不错的Python博客

如果是Python基础的话，廖雪峰的博客教程会是一个不错的选择：

当然很多刚接触Python的同学反应廖大大的教程中部分跳跃性太大，如果觉得跳跃性太大可以结合菜鸟教程一起看：

（七）Python如何进阶

很多人在学习编程之初都会碰到这种问题：学会了基础的语法了，但是还是做不了项目，不知道如何下手。

当初，我学习C的时候是这样、Java的时候是这样、Python的时候也是这样，其实不管什么语言、什么知识都是这样：理论基础知识 - 能动手做项目是有一道鸿沟的。

那么如何突破这条鸿沟？中间的桥梁是什么？

其实题主自己已经回答出来了：照抄！

所谓照抄前提是有样本。

首先找到一些简单易上手的项目，这些项目大多散落在Python实践相关的书籍中、Github上，这些实战项目知乎上都有很多推荐。

1.一些比较好的适合初学者动手的项目：

2.大多数的Python书里面（除了纯理论书）都是有小项目的，而且书的一个优点是它会一步一步解释这样做的原因。

先照抄这些项目，实现这些小功能在电脑上能运行确认无误之后，回过头来看代码：

? 有没有你不理解的地方，不理解的地方标记去搜索引擎或者书中找解释。

? 学习作者设计这个项目的思路方法，并运用到接下来的项目，如果时间充裕，建议隔天再重新再不看书的情况下重新自己实现一遍这些小项目。

如果你是跟着实战的书敲代码的，很多时候项目都不会一遍运行成功，那么你就要根据各种报错去寻找原因，这也是一个学习的过程。

总结起来从Python入门跳出来的过程分为三步：照抄、照抄之后的理解、重新自己实现。

（八）Python爬虫入门

第一：Python爬虫学习系列教程

? Python爬虫入门二之爬虫基础了解

? Python爬虫入门七之正则表达式

? Python爬虫实战一之爬取糗事百科段子

? Python爬虫实战二之爬取百度贴吧帖子

? Python爬虫实战三之实现山东大学无线网络掉线自动重连

? Python爬虫实战四之抓取淘宝MM照片

? Python爬虫实战五之模拟登录淘宝并获取所有订单

? Python爬虫实战六之抓取爱问知识人问题并保存至数据库

? Python爬虫实战七之计算大学本学期绩点

? Python爬虫进阶一之爬虫框架概述

第二（第一的姊妹篇）：Python爬虫入门教程

? [Python]网络爬虫（一）：抓取网页的含义和URL基本构成

? [Python]网络爬虫（二）：利用urllib2通过指定的URL抓取网页内容

? [Python]网络爬虫（三）：异常的处理和HTTP状态码的分类

? [Python]网络爬虫（五）：urllib2的使用细节与抓站技巧

? [Python]网络爬虫（六）：一个简单的百度贴吧的小爬虫

? [Python]网络爬虫（七）：Python中的正则表达式教程

? [Python]网络爬虫（八）：糗事百科的网络爬虫（v0.3）源码及解析(简化更新)

? [Python]网络爬虫（九）：百度贴吧的网络爬虫（v0.4）源码及解析

? [Python]网络爬虫（十）：一个爬虫的诞生全过程（以山东大学绩点运算为例）

? [Python]网络爬虫（11）：亮剑！爬虫框架小抓抓Scrapy闪亮登场！

? [Python]网络爬虫（12）：爬虫框架Scrapy的第一个爬虫示例入门教程

希望以上的教程可以帮助到大家。

（九）Python开发微信公众号

1、需要调用微信内部功能

需要调用微信内部功能组件的比如：公众号收发消息|图片、页面分享至朋友圈、用户授权提取用户基本信息、微信小店、微信公众号菜单等内部功能组件，这些功能组件在微信公众号开发者文档里面找到：微信公众平台开发者文档

对于这些功能组件，开发者文档都提供了详细的接口文档，告诉你如何调用，而你只需要用Python调用这些接口即可。比如一个很简单的消息发送的方法如下：

当然在这所有的调用之前，需要进行一些授权验证，同样开发者文档有一套完整的接入指南：接入指南 - 微信公众平台开发者文档

很遗憾很多初学者在一开始看这份文档的时候并不能看懂，所以这里也推荐一些我以前学习摸索的过程中使用到的一些简单易学的教程。

你可以先做一个简单的微信机器人练练手（零基础十分容易上手）：

? 使用python一步一步搭建微信公众平台（一）

? 使用python一步一步搭建微信公众平台（二）----搭建一个中英互译的翻译工具

? 使用python一步一步搭建微信公众平台（三）----添加用户关注后的欢迎信息与听音乐功能

? 使用python一步一步搭建微信公众平台（四）----将小黄鸡引入微信自动回复

? 使用python一步一步搭建微信公众平台（五）----使用mysql服务来记录用户的反馈

如果你已经能按照以上的教程搭建一个完整的微信机器人了，基本上对于微信收发消息等等简单功能已经没有什么障碍了。下面再继续学习如下教程，开始学习如何调用其他一些相对来说比较复杂的接口。

? 微信公众平台开发入门教程

? 微信公众平台开发—天气预报

? 微信公众平台开发—小黄鸡

? 微信公众平台开发—人脸识别

? 微信公众平台开发—百度地图

? 微信公众平台开发—笑话

? 微信公众平台开发—在线点歌

? 微信公众平台开发—附近查询

? 微信公众平台开发—快递物流

? 微信公众平台开发—一键关注

当你实验了如上的教程之后，相信官方文档的所有接口调用对你来说已经小菜一碟了。

2、不需要调用微信内部功能

不需要调用微信内部功能组件的，就如同正常的web页面一样，比如填写表单进行进行注册、点击按钮进行跳转等等，这些都是正常的web请求，按照正常的web开发方法走即可。

（十）Python面试概念和代码

（一）、这两个参数是什么意思：args，*kwargs？我们为什么要使用它们？

答：如果我们不确定往一个函数中传入多少参数，或者我们希望以元组（tuple）或者列表（list）的形式传参数的时候，我们可以使用args（单星号）。如果我们不知道往函数中传递多少个关键词参数或者想传入字典的值作为关键词参数的时候我们可以使用*kwargs（双星号），args、kwargs两个标识符是约定俗成的用法。

另一种答法：当函数的参数前面有一个星号号的时候表示这是一个可变的位置参数，两个星号表示这个是一个可变的关键词参数。星号把序列或者集合解包（unpack）成位置参数，两个星号**把字典解包成关键词参数。

装饰器本质上是一个Python函数，它可以让其它函数在不作任何变动的情况下增加额外功能，装饰器的返回值也是一个函数对象。它经常用于有切面需求的场景。比如：插入日志、性能测试、事务处理、缓存、权限校验等。有了装饰器我们就可以抽离出大量的与函数功能无关的雷同代码进行重用。

有关于具体的装饰器的用法看这里：装饰器 - 廖雪峰的官方网站

Python中的垃圾回收是以引用计数为主，标记-清除和分代收集为辅。

引用计数：Python在内存中存储每个对象的引用计数，如果计数变成0，该对象就会消失，分配给该对象的内存就会释放出来。

标记-清除：一些容器对象，比如list、dict、tuple，instance等可能会出现引用循环，对于这些循环，垃圾回收器会定时回收这些循环（对象之间通过引用（指针）连在一起，构成一个有向图，对象构成这个有向图的节点，而引用关系构成这个有向图的边）。

分代收集：Python把内存根据对象存活时间划分为三代，对象创建之后，垃圾回收器会分配它们所属的代。每个对象都会被分配一个代，而被分配更年轻的代是被优先处理的，因此越晚创建的对象越容易被回收。

如果你想要深入了解Python的GC机制，点击这里：[转载]Python垃圾回收机制--完美讲解!

Lock（GIL）的东西，它能确保你的代码中永远只有一个线程在执行。经过GIL的处理，会增加执行的开销。这就意味着如果你先要提高代码执行效率，使用threading不是一个明智的选择，当然如果你的代码是IO密集型，多线程可以明显提高效率，相反如果你的代码是CPU密集型的这种情况下多线程大部分是鸡肋。

（五）、 说明os,sys模块不同，并列举常用的模块方法？

os模板提供了一种方便的使用操作系统函数的方法

sys模板可供访问由解释器使用或维护的变量和与解释器交互的函数

os模块负责程序与操作系统的交互，提供了访问操作系统底层的接口。sys模块负责程序与Python解释器的交互，提供了一系列的函数和变量用户操作Python运行时的环境。

（六）、什么是lambda表达式？它有什么好处？

简单来说，lambda表达式通常是当你需要使用一个函数，但是又不想费脑袋去命名一个函数的时候使用，也就是通常所说的匿名函数。

lambda表达式一般的形式是：关键词lambda后面紧接一个或多个参数，紧接一个冒号"：”，紧接一个表达式。lambda表达式是一个表达式不是一个语句。

（七）、Python中pass语句的作用是什么？

pass语句不会执行任何操作，一般作为占位符或者创建占位程序

（八）、Python是如何进行类型转换的？

Python提供了将变量或值从一种类型转换为另一种类型的内置方法。

（九）、Python里面如何拷贝一个对象？

Python中对象之间的赋值是按引用传递的，如果要拷贝对象需要使用标准模板中的copy

copy.copy：浅拷贝，只拷贝父对象，不拷贝父对象的子对象。

copy.deepcopｙ：深拷贝，拷贝父对象和子对象。

（十）、new和init的区别。

init为初始化方法，new方法是真正的构造函数。

new是实例创建之前被调用，它的任务是创建并返回该实例，是静态方法

init是实例创建之后被调用的，然后设置对象属性的一些初始值。

总结：new方法在init方法之前被调用，并且new方法的返回值将传递给init方法作为第一个参数，最后init给这个实例设置一些参数。

（十一）、Python中单下划线和双下划线分别是什么？

name：一种约定，Python内部的名字，用来与用户自定义的名字区分开，防止冲突

_name：一种约定，用来指定变量私有

__name：解释器用_classname__name来代替这个名字用以区别和其他类相同的命名

想要更加详细的了解这两者的区别，请点击：Python中的下划线（译文）

（十二）、说一说Python自省。

自省就是面向对象的语言所写的程序在运行时，所能知道对象的类型。简单一句话就是运行时能够获得对象的类型。比如：type()、dir()、getattr()、hasattr()、isinstance()

有关于元类以及单例模式会在后面文章中做详细的解释说明。