1月9日学习内容整理：请求库requests之基于GET和POST请求，response对象的属性-程序员宅基地

Requests模块介绍：

#介绍：使用requests可以模拟浏览器的请求，比起之前用到的urllib，requests模块的api更加便捷（本质就是封装了urllib3）

#注意：requests库发送请求将网页内容下载下来以后，并不会执行js代码，这需要我们自己分析目标站点然后发起新的request请求

#安装：pip3 install requests

#各种请求方式：常用的就是requests.get()和requests.post()
>>> import requests
>>> r = requests.get('https://api.github.com/events')
>>> r = requests.post('http://httpbin.org/post', data = {'key':'value'})
>>> r = requests.put('http://httpbin.org/put', data = {'key':'value'})
>>> r = requests.delete('http://httpbin.org/delete')
>>> r = requests.head('http://httpbin.org/get')
>>> r = requests.options('http://httpbin.org/get')

#建议在正式学习requests前，先熟悉下HTTP协议
http://www.cnblogs.com/linhaifeng/p/6266327.html

 

 

 

一、基于GET请求

1、基本请求

response=requests.get(url)   url就是请求的地址

这就是发送了一个GET请求，返回一个response对象

2、get方法的参数

（1）headers：模拟http的请求头信息

get(url,

headers={

　　"User-Agent" :  是http请求头中的一个字段，内容为操作系统版本，浏览器版本，服务器通常将这个字段作为检验请求来源的依据，

　　"Referer"  :  代表请求的来源域名，也就是从哪点进来而产生的请求，比如我们从京东页面上点击一个按钮产生请求，那请求中的这个字段就是京东首页的域名，

})

（2）params：给get请求加上数据

方式一：在URL中加上？来携带数据，一般我们不这样用

若数据中有中文字符就需要我们进行编码，可以用urllib来对中文进行编码再拼接到URL中

from urllib.parse import urlencode
params={
    'wd':'美女',
}
url='https://www.baidu.com/s?%s' %urlencode(params,encoding='utf-8')

 

方式二：上述操作都可以用params参数来代替，既可以对中文字符进行编码，又可以拼接到URL中

response=requests.get('https://www.baidu.com/s?',
                    params={
                        'wd':'美女',
                        'pn':num
                    })

 

（3）cookie：主要应用在需要登录之后才能获取到的数据的网站，我们要在请求中加上cookie，直接在cookie={}中添加对应的键值对就行了

reponse=requests.get('https://github.com/settings/emails',
                    headers={
                        'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36',
                    },
                    cookies={
                        'user_session':'CpxXbf5MvLuoRxVeIqUNHs6WlwUOkF4vMqcZ2IoKAZ5Sia-M'
                    }
                    )

 

 

二、基于POST请求

1、介绍

#GET请求
HTTP默认的请求方法就是GET
     * 没有请求体
     * 数据必须在1K之内！
     * GET请求数据会暴露在浏览器的地址栏中

GET请求常用的操作：
       1. 在浏览器的地址栏中直接给出URL，那么就一定是GET请求
       2. 点击页面上的超链接也一定是GET请求
       3. 提交表单时，表单默认使用GET请求，但可以设置为POST


#POST请求
(1). 数据不会出现在地址栏中
(2). 数据的大小没有上限
(3). 有请求体
(4). 请求体中如果存在中文，会使用URL编码！



注意注意注意：：：：requests.post()用法与requests.get()完全一致，特殊的是requests.post()有一个data参数，用来存放请求体数据

 

2、基本请求

response  =  requests.post(url,

data={}

)

这就是发送了post请求，data参数是数据，在字典中写入一个个键值对就行

其它cookie和header参数都有

 

补充：：：

》》》allow_redirects =  True/False

是否允许重定向，False就代表

》》》上面都是我们自己去处理cookie信息，requests模块也为我们提供了方法去处理cookie

session=requests.session()    就得到了一个session对象

发请求就用这个session对象去发

response=session.get()

response=session.post()

 

 

 

三、response对象的属性

get和post请求都会得到一个response对象

# 响应的文本数据
print(respone.text)

#响应的二进制数据，通常是图片视频之类
print(respone.content)

#响应的状态码
print(respone.status_code)

#响应的头部信息
print(respone.headers)

#响应的cookie信息，返回一个对象
print(respone.cookies)
#把响应的cookie值转换为字典形式
print(respone.cookies.get_dict())
#响应的cookie值中的键值对
print(respone.cookies.items())


print(respone.history)

#响应的编码，可以修改，默认编码为ISO-8859-1
print(respone.encoding)