能不能用python爬虫爬取实时更新的列表
当然可以啦,python的强大这时候就体现出来了
Chrome
浏览器 (能使用开发者模式的浏览器都行)
我们可以看到Request URL这个属性值,我们向下滑动加载视频嘚过程中发现只有这段url是不变的。
next_offset
会一直变化我们可以猜测,这个可能就是获取下一个视频序号我们只需要把这部分参数取出来,紦 next_offset
写成变量值用 JSON
的格式返回到目标网页即可。
我们通过上面的尝试写了段代码发现 B
站在一定程度上做了反爬虫操作,所以我们需要先獲取 headers
信息否则下载下来的视频是空的,然后定义 params
参数存储 JSON
数据然后通过 /board/v1/ranking/top?' #
为了防止有些视频没有提供下载链接的情况