超级NB，python爬虫学到这个样，你就可以找工作了
超级NB，python爬虫学到这个样，你就可以找工作了
浅笑这百年
每日干货好文分享丨请点击+关注学习方法可以加python学习交流 群前段时间遇到一个毕业生，而他不想找自己的老本行Java开发了，所以面试了很多Python爬虫岗位。因为他在上海上学，所以他一开始只是在上海投了简历，他一共面试了十几家企业，其中只有一家没有给他发offer，其他企业都愿意给到10K的薪资，不要拿上海的薪资水平和北上深的薪资水平比较，所以今天我就结合python爬虫面试常问的问题类型说一说我的心得体会。python爬虫学到什么样的什么时候就可以去找工作了呢？当你能看懂代码，简单的伪造请求，爬点图片视频搞下实习没问题。当你能单挑分布式做亿以上采集量，各种伪造与绕ip，基本爬虫工作都要你。当你能搞定滑动验证码和多数字符验证码，基本可以去敲大公司的门了。当你能搞定第三代验证码那。。。。。。爬虫是入门超级简单，深入才难。Python爬虫面试的问题最重要也是最关键的一点当然是你的Python爬虫相关的知识与经验储备，这通常也是面试官考察的重点，包括但不限于：你遇到过的反爬虫的策略有哪些？你用过多线程和异步吗？除此之外你还用过什么方法来提高爬虫效率？你常用的反反爬虫的方案有哪些？有没有做过增量式抓取？对Python爬虫框架是否有了解？爬虫相关的项目经验爬虫重在实践，除了理论知识之外，面试官也会十分注重爬虫相关的项目：你认为你做的最好的爬虫项目是哪个？其中解决了什么难题？有什么特别之处？你做过哪些爬虫项目？如果有Github最好以上就是python爬虫在面试过程中，会碰到的一些技术相关的问题的总结，当然面试中不光是技术这一点，但是对于做技术的，过了技术面基本上就是薪资问题了。爬虫虽然有人觉得入门太简单因此很low，但是我觉得爬虫带来的项目成就感很舒服，让新人喜欢上编程逐步成长，并且爬虫做到深入一样是稀缺资源，不断成长，就有适合自己的空间。
本文仅代表作者观点，不代表百度立场。系作者授权百家号发表，未经许可不得转载。
浅笑这百年
百家号 最近更新：
简介: 又一个“唇枪舌战”的地方！
作者最新文章用PYTHON写一个小小的爬虫程序_百度文库
两大类热门资源免费畅读
续费一年阅读会员，立省24元！
用PYTHON写一个小小的爬虫程序
阅读已结束，下载文档到电脑
想免费下载本文？
定制HR最喜欢的简历
你可能喜欢在 SegmentFault，解决技术问题
每个月，我们帮助 1000 万的开发者解决各种各样的技术问题。并助力他们在技术能力、职业生涯、影响力上获得提升。
一线的工程师、著名开源项目的作者们，都在这里：
获取验证码
已有账号？
标签：至少1个，最多5个
用Python写爬虫是很方便的,最近看了的文章，他的文章写的很到位，提供了很好的思路。因为他的文章部分代码省略了。下面是基于他的文章的三个代码片段:基于Python3,Python2的话需要修改下input输入函数和print的用法。
爬取豆瓣电影top250
爬取拉勾网职位信息
模拟登陆知乎
为什么没人给我点赞。？！
有些代码做了更改。其中把获取的数据存储到excel中。关于存取数据到excel可以看我的。
Beautiful Soup
1. 爬取豆瓣电影top250，存到excel表格中
#!/usr/bin/env python
# encoding=utf-8
import requests,re
import codecs
from bs4 import BeautifulSoup
from openpyxl import Workbook
wb = Workbook()
dest_filename = '电影.xlsx'
ws1 = wb.active
ws1.title = "电影top250"
DOWNLOAD_URL = '/top250/'
def download_page(url):
"""获取url地址页面内容"""
headers = {
'User-Agent': 'Mozilla/5.0 (M Intel Mac OS X 10_11_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.80 Safari/537.36'
data = requests.get(url, headers=headers).content
return data
def get_li(doc):
soup = BeautifulSoup(doc, 'html.parser')
ol = soup.find('ol', class_='grid_view')
name = [] #名字
star_con = [] #评价人数
score = []
info_list = []
for i in ol.find_all('li'):
detail = i.find('div', attrs={'class': 'hd'})
movie_name = detail.find('span', attrs={'class': 'title'}).get_text() #电影名字
level_star = i.find('span',attrs={'class':'rating_num'}).get_text() #评分
star = i.find('div',attrs={'class':'star'})
star_num = star.find(pile('评价'))
info = i.find('span',attrs={'class':'inq'})
#判断是否有短评
info_list.append(info.get_text())
info_list.append('无')
score.append(level_star)
name.append(movie_name)
star_con.append(star_num)
page = soup.find('span', attrs={'class': 'next'}).find('a') #获取下一页
return name,star_con,score,info_list,DOWNLOAD_URL + page['href']
return name,star_con,score,info_list,None
def main():
url = DOWNLOAD_URL
star_con=[]
score = []
while url:
doc = download_page(url)
movie,star,level_num,info_list,url = get_li(doc)
name = name + movie
star_con = star_con + star
score = score+level_num
info = info+ info_list
for (i,m,o,p) in zip(name,star_con,score,info):
col_A = 'A%s'%(name.index(i)+1)
col_B = 'B%s'%(name.index(i)+1)
col_C = 'C%s'%(name.index(i)+1)
col_D = 'D%s'%(name.index(i)+1)
ws1[col_A]=i
ws1[col_B] = m
ws1[col_C] = o
ws1[col_D] = p
wb.save(filename=dest_filename)
if __name__ == '__main__':
结果如下：
2. 爬取拉勾网Python职位信息
职位信息存储在json中，获取到json对象，再从中遍历出公司名、地址、待遇等信息。
import requests
from openpyxl import Workbook
def get_json(url, page, lang_name):
data = {'first': 'true', 'pn': page, 'kd': lang_name}
json = requests.post(url, data).json()
list_con = json['content']['positionResult']['result']
info_list = []
for i in list_con:
info.append(i['companyShortName'])
info.append(i['companyName'])
info.append(i['salary'])
info.append(i['city'])
info.append(i['education'])
info_list.append(info)
return info_list
def main():
lang_name = input('职位名：')
url = '/jobs/positionAjax.json?needAddtionalResult=false'
info_result = []
while page & 31:
info = get_json(url, page, lang_name)
info_result = info_result + info
wb = Workbook()
ws1 = wb.active
ws1.title = lang_name
for row in info_result:
ws1.append(row)
wb.save('职位信息.xlsx')
if __name__ == '__main__':
运行结果：
3. 模拟登录知乎
通过开发者工具，获取post的数据。
import requests,time
from bs4 import BeautifulSoup
def get_captcha(data):
with open('captcha.gif','wb') as fp:
fp.write(data)
return input('输入验证码：')
def login(username,password,oncaptcha):
sessiona = requests.Session()
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:47.0) Gecko/ Firefox/47.0'}
_xsrf = BeautifulSoup(sessiona.get('/#signin',headers=headers).content,'html.parser').find('input',attrs={'name':'_xsrf'}).get('value')
captcha_content = sessiona.get('/captcha.gif?r=%d&type=login'%(time.time()*1000),headers=headers).content
"_xsrf":_xsrf,
"email":username,
"password":password,
"remember_me":True,
"captcha":oncaptcha(captcha_content)
resp = sessiona.post('/login/email',data,headers=headers).content
print(resp)
return resp
if __name__ == "__main__":
login('your_email','your_password',get_captcha)
运行后会在运行目录下得到验证码图片：
输入验证码后得到如下响应结果表明登录成功。
6 收藏&&|&&40
你可能感兴趣的文章
36 收藏，1.8k
3 收藏，959
4 收藏，410
本作品 保留所有权利 。未获得许可人许可前，不允许他人复制、发行、展览和表演作品。不允许他人基于该作品创作演绎作品
解决了，一个是用浏览器访问一下，然后把所有的header内容都传给requests就可以了好像拉钩为了防止爬虫加了个cookie我想应该是这样，因为这里token每次都是变化的，必须有这个token才能访问。其次info.append(i['companyName'])这个语句有问题，去掉，就可以正常工作了。
解决了，一个是用浏览器访问一下，然后把所有的header内容都传给requests就可以了好像拉钩为了防止爬虫加了个cookie我想应该是这样，因为这里token每次都是变化的，必须有这个token才能访问。其次info.append(i['companyName'])这个语句有问题，去掉，就可以正常工作了。
写的真好，谢谢。
写的真好，谢谢。
??点个赞再走。我也是在学习中。有问题给我留言
??点个赞再走。我也是在学习中。有问题给我留言
声望不够。。
声望不够。。
哈哈，赶紧的，赚点声望
哈哈，赶紧的，赚点声望
你好，我在做拉钩网招聘信息的爬取，但我在用chrome的开发者选项查看网络信息的时候，找不到positionAjax.json这个文件了啊，不知道是不是拉钩网的信息显示机制变了呢？
你好，我在做拉钩网招聘信息的爬取，但我在用chrome的开发者选项查看网络信息的时候，找不到positionAjax.json这个文件了啊，不知道是不是拉钩网的信息显示机制变了呢？
我刚看了一下，有这个请求。你在好好看看。我用的是firefox。这个和浏览器没有关系。
我刚看了一下，有这个请求。你在好好看看。我用的是firefox。这个和浏览器没有关系。
好的，我初学爬虫，还有很多不懂的～谢谢你的回复??
好的，我初学爬虫，还有很多不懂的～谢谢你的回复??
找不到了，再给我留言。
找不到了，再给我留言。
好的好的谢谢
好的好的谢谢
谢谢lz，我已经完全弄明白了，请问还有什么像拉勾网这样异步加载的网站吗？我想多爬几个练练手
谢谢lz，我已经完全弄明白了，请问还有什么像拉勾网这样异步加载的网站吗？我想多爬几个练练手
这个没找过。
这个没找过。
请问一下，为什么我抓取豆瓣TOP250时，写到文件里一总只有243个值？楼主有这样的情况吗？
请问一下，为什么我抓取豆瓣TOP250时，写到文件里一总只有243个值？楼主有这样的情况吗？
遇到那种拖动拼图的验证码识别咋办
遇到那种拖动拼图的验证码识别咋办
那个我也没研究过。
那个我也没研究过。
这就尴尬了
这就尴尬了
爬去拉钩出现了json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)错误请问是为什么？
爬去拉钩出现了json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)错误请问是为什么？
我刚看了一下，拉勾应该是改过什么地方了，思路是这样的。很简单。学习下思路，你多看一下requests的文档。
我刚看了一下，拉勾应该是改过什么地方了，思路是这样的。很简单。学习下思路，你多看一下requests的文档。
我正在研究，写的语法应该是没问题的，但是拉钩发现是post发送的消息，就是非浏览器的发送的偶会认为是爬虫行为，所以就会组织，不过现在还不知道是用什么来判断的
我正在研究，写的语法应该是没问题的，但是拉钩发现是post发送的消息，就是非浏览器的发送的偶会认为是爬虫行为，所以就会组织，不过现在还不知道是用什么来判断的
拉勾拉勾是增加了浏览器验证，我试着加了请求头，还是没通过，直接forbidden了。
拉勾拉勾是增加了浏览器验证，我试着加了请求头，还是没通过，直接forbidden了。
分享到微博？
我要该，理由是：}