Middleware

中间件只有下载中间件，主要是对爬虫请求和响应的处理。

说明

中间件只有两个只有两个方法process_request和process_response

• process_request
• 参数: request, spider_ins(spider实例)
• 返回值: Response, Request, None

• 说明： 当返回值不为None的时候不再执行后面的中间件和下载器，直接返回

• process_response

• 参数: request, response, spider_ins(spider实例)
• 返回值: Response, Request, None
• 说明： 当返回值不为None的时候不再执行后面的中间件，直接返回

使用

class DemoMiddleware:
    def process_request(self, request, spider_ins):
        print(f"{request} 中间件 每次请求前调用")

    def process_response(self, request, response, spider_ins):
        print(f"{response} 中间件 每次请求后调用")