scrapy 爬去多个网站,应该建立新项目还是同一项目下建立多爬虫

试想一下前面做的实验和例子嘟只有一个spider。然而现实的开发的爬虫肯定不止一个。既然这样那么就会有如下几个问题:1、在同一个项目中怎么创建多个爬虫的呢?2、多个爬虫的时候是怎么将他们运行起来呢

  说明:本文章是基于前面几篇文章和实验的基础上完成的。如果您错过了或者有疑惑嘚地方可以在此查看:

  这里主要通过来实现在脚本里运行一个spider。更多的例子可以在此查看:

  这是官方文档提供的几种在script里面运行spider嘚方法

  三、通过自定义scrapy命令的方式来运行

  创建项目命令可参考:

from /上得到了网友的帮助。再次感谢万能的互联网要是没有那道牆该是多么的美好呀!扯远了,继续回来

  4、mands为命令文件目录,crawlall为命令名

我要回帖

 

随机推荐