Python爬虫中requests下载插件常用方法汇总(一)

数据采集 专栏收录该内容
13 篇文章 0 订阅

最近在对先前写的爬虫框架进行升级,今天把下载部分使用的插件更新了一下,把原来的urllib.request换成了requests插件。 花了几个小时仔细的研究了一下requests的参数,目前初步整理一个工具类,代码如下:

import requests
from PIL import Image
from io import BytesIO
from com.fy.utils.http.UserAgentUtils import UserAgentUtils
from requests.exceptions import ReadTimeout, ConnectionError, RequestException
'''
    requests插件工具类;
'''
class RequestsPlugs:
    def __init__(self):
        self.uau = UserAgentUtils()
        #被正确编码后的请求网址的地址;
        self.requestUrl = None
        #服务器响应的内容
        self.requestText = None
        #获取二进制数据;以字节的方式访问请求响应体,对于非文本请求:
        self.requestContent = None
        #Requests 会自动解码来自服务器的内容。大多数 unicode 字符集都能被无缝地解码。
        self.htmlEncoding = None
        #响应状态码
        self.reponseStatusCode = None
        #请求的历史记录(以列表的形式显示)或者响应对象的 history 方法来追踪重定向
        self.reponseHistory = None
        #请求网址的headers所有信息
        self.reponseHeaders = None
        #请求网址的cookies信息
        self.reponseCookies = None
        ##如果response返回的状态码是非正常,则为False,否则为True
        self.isOk = False

    '''GET请求;;params格式:"{'key1': 'value1', 'key2': 'value2'}"
        timeout:单位秒;可以是小数。如0.5,表示500毫秒;
    '''
    def get(self, url, params  , headers , timeout  , deCode , proxies):
        headers = self.setUserAgent(headers)
        with requests.Session() as s:
            '''
              第一种:设置普通代理
                  如果需要使用【代理】,你可以通过为任意请求方法提供 proxies 参数来配置单个请求:
                proxies = {#设置普通代理
                  "http": "http://10.10.1.10:3128",
                  "https": "http://10.10.1.10:1080",
                }
              第二种:设置有用户名和密码的代理
                  若你的代理需要使用HTTP Basic Auth,可以使用 http://user:password@host/ 语法:
                proxies = {#设置用户名和密码代理
                    "http": "http://user:pass@10.10.1.10:3128/",
                }
              第三种:设置设置socks代理
                1:首先安装requests[socks]插件;
                    pip install requests[socks]
                proxies = {
                    'http': 'socks5://127.0.0.1:9742',
                    'https': 'socks5://127.0.0.1:9742'
                }
            '''
            try:
                r = s.get(url, params=params, proxies=proxies, headers=headers , timeout=timeout)
                self.handleResult(deCode, r)
            except ReadTimeout:
                print('Timeout')
            except ConnectionError:
                print('Connection error')
            except RequestException:
                print('Error')

    #POST请求;params格式:"{'key1': 'value1', 'key2': 'value2'}"
    def post(self, url, params , headers , timeout, deCode, proxies):
        headers = self.setUserAgent(headers)
        with requests.Session() as s:
            r = s.post(url, params=params, proxies=proxies, headers=headers , timeout=timeout)
            self.handleResult(deCode, r)

    def handleResult(self, deCode, r):
        #设置编码
        if deCode != None and len(deCode) > 1:r.encoding = deCode
        #被正确编码后的请求网址的地址;
        self.requestUrl = r.url
        #服务器响应的内容
        self.requestText = r.text
        #你也能以字节的方式访问请求响应体,对于非文本请求:
        self.requestContent = r.content
        #Requests 会自动解码来自服务器的内容。大多数 unicode 字符集都能被无缝地解码。
        self.htmlEncoding = r.encoding
        #响应状态码
        self.reponseStatusCode = r.status_code
        #请求网址的headers所有信息
        self.reponseHeaders = r.headers
        #请求网址的cookies信息
        self.reponseCookies = r.cookies
        '''
               可以使用响应对象的 history 方法来追踪重定向。
            Response.history 是一个 Response 对象的列表,为了完成请求而创建了这些对象。这个对象列表按照从最老到最近的请求进行排序。
        '''
        #请求的历史记录(以列表的形式显示)或者响应对象的 history 方法来追踪重定向
        self.reponseHistory = r.history

        self.isOk = (r.status_code == requests.codes.ok)

    #以请求返回的二进制数据创建一张图片;
    def toImage(self, url, params , headers , timeout, proxies, imageFilePath):
        headers = self.setUserAgent(headers)
        with requests.Session() as s:
            r = s.get(url, params=params, headers=headers, timeout=timeout, proxies=proxies)
            i = Image.open(BytesIO(r.content))
            #quality参数: 保存图像的质量,值的范围从1(最差)到95(最佳)。 默认值为75,使用中应尽量避免高于95的值; 100会禁用部分JPEG压缩算法,并导致大文件图像质量几乎没有任何增益。
            i.save(imageFilePath, quality=95)

    #Requests 中也有一个内置的 JSON 解码器,助你处理 JSON 数据:
    def toJson(self, url, params , headers , timeout, deCode, proxies):
        headers = self.setUserAgent(headers)
        with requests.Session() as s:
            r = s.get(url, params=params, headers=headers, timeout=timeout, proxies=proxies)
            #设置编码
            if deCode != None and len(deCode) > 1:r.encoding = deCode
            '''如果 JSON 解码失败, r.json() 就会抛出一个异常。例如,响应内容是 401 (Unauthorized),尝试访问 r.json() 将会抛出 ValueError: No JSON object could be decoded 异常。
                  需要注意的是,成功调用 r.json() 并**不**意味着响应的成功。有的服务器会在失败的响应中包含一个 JSON 对象(比如 HTTP 500 的错误细节)。这种 JSON 会被解码返回。要检查请求是否成功,请使用 r.raise_for_status() 或者检查 r.status_code 是否和你的期望相同。
            '''
            self.requestText = r.json()

    #设置user-agent参数;
    def setUserAgent(self, headers):
        if headers == None:headers = {}
        headers['User-Agent'] = self.uau.getheaders()
        return headers

    #获取cookie集合;
    def getCookie(self):
        cookie = {}
        for key, value in self.reponseCookies.items():
            cookie[key] = value

    #文件上传
    def upload(self, url, params , headers , timeout, proxies, filePath):
        headers = self.setUserAgent(headers)
        with requests.Session() as s:
            files = {"files":open(filePath, "rb")}
            s.post(url, params=params, headers=headers, timeout=timeout, proxies=proxies, files=files)
            self.requestText = s.text

这是今天初步整理的,后续会继续对其进行更详细整理,希望对大家有帮助。

相关阅读:

PyMous、PyKeyboard简单工具类

纯Python的GUI自动化工具PyAutoGUI常用方法汇总

史上最快、最笨的公众号文章阅读数、在看数采集,哈哈

比selenium更高效的爬虫界的新神器之Pyppeteer常用方法汇总

  • 0
    点赞
  • 0
    评论
  • 3
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

相关推荐
©️2020 CSDN 皮肤主题: 我行我“速” 设计师:Amelia_0503 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值