除了内建的模块外,Python还有大量的第三方模块。本章介绍一种常用的第三方模块:requests。Python有内置的urllib模块,用于访问网络资源。但是,它用起来比较麻烦,而且,缺少很多实用的高级功能。更好的方案是使用requests。它是一个Python第三方库,处理URL资源特别方便。
安装requests
如果安装了Anaconda,requests就已经可用了。否则,需要在命令行下通过pip安装:
pip install requests
如果遇到Permission denied安装失败,请加上sudo重试。
使用requests
要通过GET访问一个页面,只需要几行代码:
>>> import requests>>> r = requests.get(‘https://www.douban.com/’) # 豆瓣首页>>> r.status_code200>>> r.textr.text'<!DOCTYPE HTML>\n<html>\n<head>\n<meta name=”description” content=”提供图书、电影、音乐唱片的推荐、评论和…’
对于带参数的URL,传入一个dict作为params参数:
>>> r = requests.get(‘https://www.douban.com/search’, params={‘q’: ‘python’, ‘cat’: ‘1001’})>>> r.url # 实际请求的URL’https://www.douban.com/search?q=python&cat=1001′
requests自动检测编码,可以使用encoding属性查看:
>>> r.encoding’utf-8′
requests的方便之处还在于,对于特定类型的响应,例如JSON,可以直接获取:
>>> r = requests.get(‘https://query.yahooapis.com/v1/public/yql?q=select * from weather.forecast where woeid = 2151330&format=json’)>>> r.json(){‘query’: {‘count’: 1, ‘created’: ‘2017-11-17T07:14:12Z’, …
要发送POST请求,只需要把get()方法变成post(),然后传入data参数作为POST请求的数据:
>>> r = requests.post(‘https://accounts.douban.com/login’, data={‘form_email’: ‘abc@example.com’, ‘form_password’: ‘123456’})
requests对获取HTTP响应的其他信息也非常简单。例如,获取响应头:
>>> r.headers{Content-Type’: ‘text/html; charset=utf-8’, ‘Transfer-Encoding’: ‘chunked’, ‘Content-Encoding’: ‘gzip’, …}>>> r.headers[‘Content-Type’]’text/html; charset=utf-8′
requests对Cookie做了特殊处理,使得我们不必解析Cookie就可以轻松获取指定的Cookie:
>>> r.cookies[‘ts’]’example_cookie_12345′
要指定超时,传入以秒为单位的timeout参数:
>>> r = requests.get(url, timeout=2.5) # 2.5秒后超时
更多内容参考
https://requests.kennethreitz.org//zh_CN/latest/user/quickstart.html
推荐阅读更多精彩内容:
Python常用第三方模块:Pillow
简述OpenCV基本原理和使用方法
搭建业务指标体系的关键要素:”人”、”货”、”场”
现代Python必学工具–Jupyter Notebook
精细化运营背后离不开数据指标建设
技术人最不该忽视可视化数据分析!