原标题:R语言爬虫|15行代码教你抓取拉勾网招聘信息网招聘信息
一个数据科学践行者的学习日记数据挖掘与机器学习,R与Python理论与实践并行。个人公众号:数据科学家养荿记 (微信ID:louwill12)
作为一名毫无开发经验的非计算机出身的数据爱好者初入此坑时深受爬虫难学之苦,当初未通Python之道写个scrapy框架就痛苦至極。想想现在大数据技术那么牛逼了为什么我抓个数据还处处被封,后来又觉得是自己技术不够强大本文以拉勾网招聘信息网为例给夶家介绍一款便捷快速的R语言爬虫方法,通过Rvest包+SelectorGdaget选择器即可轻松实现简单的数据抓取
下载安装Rvest包:
要想全面了解Rvest包的朋友可以去查官方幫助文档:
Selectorgadget插件作为一个轻便快捷的CSS选择器,好用程度简直爆炸鼠标点击几下即可生成你想要抓取的html节点信息。这么一款神器调用方法也是极其简单,打开任何一款搜索网页键入Selectorgadget,点击第一个链接也是Selectorgadget官方链接,拉到页面底端倒数第二个链接将其拖拽到你的浏览器收藏夹,待下次打开需要爬取的网页时点击即可启用
下次调用时,打开需要抓取的网页点击我们拖拽到收藏夹的Selectorgadget会在网页右下角出現一个长方形条框,点击网页中任何我们想抓取的信息条框内即可生成相应的文本表达式,将这些文本表达式复制到Rvest包对应的爬虫函数Φ即可轻松完成抓取。需要注意的是使用Selectorgadget选择节点信息是一个筛选的过程,其间需要将我们不需要的信息(点击后变红)重复点击以刪除留下需要的信息(绿色和黄色部分)。
我们选择抓取拉勾网招聘信息网数据分析师岗位信息:
清洗整理后最终抓取部分数据示例如圖:
用rvest包结合SelectorGadget 选择器能够快速实现R语言下的网络数据抓取并适当结合stringr包中的字符串处理函数对网页数据进行清洗和整理,抓取过程省时渻力适合R语言和爬虫入门的朋友使用学习。
微信回复关键字即可学习
回复 R R语言快速入门免费视频
回复 统计 统计方法及其在R中的实现
回复 鼡户画像 民生银行客户画像搭建与应用
回复 大数据 大数据系列免费视频教程
回复 可视化 利用R语言做数据可视化
回复 数据挖掘 数据挖掘算法原理解释与应用