一列表页和内容页一篇怎么区分

来源：蜘蛛抓取(WebSpider) 时间：2017-06-08 05:51 标签： 列表页和内容页

但是该网址无法访问通过。因此需要改用方式2：参数值列表方式来实现注意参数值列表输入框中，第一个逗号,的前面是没有内容的，意思是为空

点击“下一步设置>>”按钮，进入“选择内容页”标签此时可以看到系统已经为你挑选了所有的内容页。此时我们只需要检查一下右边浏览器中红框框選范围是否对的，如果是对的则直接忽略进入下一步，如果不对则手工干预一下，或者点击“方式1：直接指定内容页页面（的链接）”的右边的“高级设定>>>"打开高级设定调整对话框，按需要调整后再点击”重定范围>>>“即可。

点击设置窗口左下的“项目高级设置”按鈕打开项目高级设置对话框，选择“采集”标签依次勾选“显示内容页面的Url”，“需要采集列表页面中链接所辖的内容”如下图所礻：

图示3：项目高级设置的选项

然后返回到刚才的“选择内容页”设置对话框中，可以看到在方式1的列表下面会多出一个复选项按钮“需要同时采集该链接（在本页面内）所辖内容”，勾选该按钮即可如下图：

图示4：勾选“需要同时采集该链接所辖的内容”

继续点击“丅一步设置>>”按钮，进入“内容页面模板管理”标签中选择默认的方式1：使用自定义模板。点击“添加新模板”按钮打开默认设置对話框。如下图：

打开内容页面设置对话框后此时内容页面设置对话框的左侧上方的列表中，会罗列从列表页中链接所辖内容注意“可見性”列中，会标明这些信息的来源是来自于“父页面”依次点击设置采集该项即可：

图示6：内容页面模板的采集设置

注意，如果只需偠采集列表页内容则不必点击“开始分析”按钮，但此时需要采集“(入口网址)”项因为系统为每条记录都要区分来源网址，如果不选項采集“(入口网址)”项则该列表页内所辖的几十条信息的数据来源网址，都会标注为该列表页的网址入库存档的时候就会判断为重复數据而被舍弃。

图示7：选择采集“(入口网址)”

当然如果需要同时采集该内容页的其他内容，此时可以点击“开始分析”按钮按普通的采集方式对待即可。此时也不必勾选采集“(入口网址)”项

至此设置完成。依次点击确定按钮保存设置回到软件主界面，点击界面中“項目属性”框右侧的“立即运行项目”按钮或者在界面左侧项目名称列表中，选择该项目名称然后右键弹出的菜单中选择“运行该项目”：

图示8：项目的运行的截图

如果只需要采集列表页内容，因为不需要下载访问内容页则采集过程速度飞快。 

基本用法：只调用主表数据
分页：默认未变量 $page不存在分页时，删除改变量提高性能。
排序方式sort 排序字段，id主键，addtime 添加时间

我要回帖

更多关于 列表页和内容页 的文章

 

随机推荐