在使用pyspider框架爬去网页的时候 self.crawl(url,callback=fn)
是主要的接口函数。通过这个函数我们对 url 进行请求,请求完之后继续执行接下来的程序等 url 响应的时候在调用js中的回调函数数 callback 对返回的内嫆进行处理。
通常在js中的回调函数数中我们会对新的 url 发情求此时就需要另外一个js中的回调函数数。如果我们希望将将一次请求响应的内嫆传到下一个js中的回调函数数使用时就需要使用 self.crawl()
的 save 参数。然后在js中的回调函数数中通过response.save[] 来获取传进来的数据官网的介绍如下: