iis服务器助手广告广告
返回顶部
首页 > 资讯 > 后端开发 > Python >解读Scrapy回调函数callback传递参数的方式
  • 308
分享到

解读Scrapy回调函数callback传递参数的方式

Python 官方文档:入门教程 => 点击学习

摘要

目录scrapy回调函数传递参数方式注意事项总结Scrapy回调函数 回调方法示例: yield Request(url=self.base_url + 'QueryInfo', h

Scrapy回调函数

回调方法示例:

yield Request(url=self.base_url + 'QueryInfo', headers=self.request_headers, method="POST", body=JSON.dumps(request_params), callback=self.page_query_schools, cb_kwargs=add_params)

callback对应的是page_query_school()即为回调的方法。

传递参数方式

如何向回调方法中传递参数呢?

在scrapy1.7之后,是基于cb_kwargs方式传递dict类型,可以在回调方式中直接访问对应的参数值。

add_params = {}
add_params['province_code'] = province_code
add_params['province_name'] = name
yield Request(url=self.base_url + 'QueryInfo', headers=self.request_headers, method="POST", body=json.dumps(request_params), callback=self.page_query_schools, cb_kwargs=add_params)
         
def page_query_schools(self, response, province_code, province_name):        
     # logic definitio

从上述方法中可知, add_params初始化为dict, 放入province_code/province_name两个值。

在page_query_schools()方法中,其中的key值直接以参数传入方法: province_code/province_name.

注意事项

错误的用法:

add_params = {}
add_params['data_item']['province_code'] = province_code
add_params['data_item']['province_name'] = name
yield Request(url=self.base_url + 'QueryInfo', headers=self.request_headers, method="POST", body=json.dumps(request_params), callback=self.page_query_schools, cb_kwargs=dict(data_hsh=add_params))
        
def page_query_schools(self, response, data_hsh):        
    # logic definition 

这种用法的错误是:data_hsh传递是引用,在循环访问中,data_hsh是指向相同的结果值,造成变量的引用有误,与预期不符。

正确的做法:cb_kwargs传递直接变量属性值,不要使用复杂的数据结构,可以做到不同的属性值

总结

以上为个人经验,希望能给大家一个参考,也希望大家多多支持编程网。

--结束END--

本文标题: 解读Scrapy回调函数callback传递参数的方式

本文链接: https://www.lsjlt.com/news/175224.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

本篇文章演示代码以及资料文档资料下载

下载Word文档到电脑,方便收藏和打印~

下载Word文档
猜你喜欢
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作