python解决网站爬虫限制的简单示例

这篇文章主要为大家详细介绍了python解决网站爬虫限制的简单示例，具有一定的参考价值，可以用来参考一下。

感兴趣python解决网站爬虫限制的简单示例的小伙伴，下面一起跟随四海网的小编罗X来看看吧。<br>
有些网站限制了网络请求的来源，来阻止爬虫。一般是通过’user-agent’属性来区分。 
通过 
print r.request.headers 
来查看user-agent属性。 
requests库写的代码默认user-agent是’python-requests/x.xx.x’(x表示版本号)。如果访问不成功，可尝试修改’user-agent’属性。

方法如下： 
1. 先构建一个字典 
ua={"user-agent":"Mozilla/5.0"} 
其中”Mozilla/5.0”是浏览器的普遍标识。 

2. 在get方法里面加一个参数 
r=requests.get(url,headers=ua) 
这时就可以模仿浏览器访问了。 
完整代码：

import requests
url="http://www.177347.com"
ua={"user-agent":"Mozilla/5.0"}
r=requests.get(url)
print r.request.headers
r=requests.get(url,headers=ua)
print r.request.headers

 

本文来自：http://www.q1010.com/181/2931-0.html

注：关于python解决网站爬虫限制的简单示例的内容就先介绍到这里，更多相关文章的可以留意四海网的其他信息。

关键词：爬虫