行业动态

rvest包与其他网页信息抓取方法比较分析。R语言实现网络爬虫有两种方法, 一种是利用本文所提到的rvest包, 另外一种是利用RCurl包和XML包。

由rvest函数包配合Selector Gadget工具实现R语言在网页信息爬取上的应用这个方法, 与采用XML包和RCurl包进行爬取相比, 更加简单, 代码更加简洁直观。R中的rvest包将原本复杂的网页爬虫工作压缩到读取网页, 检索网页和提取文本, 使其变得非常简单, 而且根据网页的规律, 运用for () 循环函数进行实现多张网页的信息爬取。而使用XML包和RCurl包进行实现, 则需要一些关于网页的基础知识, 模拟浏览器行为伪装报头, 接着访问页面解析网页, 然后定位节点获取信息, 最后再将信息整合起来。该方法更为困难繁琐, 在访问网页时有时并不能顺利读取解析, 并且在选取节点的时候需要HTML的基础知识, 在网页源代码中找寻, 有些网页的源代码相当复杂, 并不易于定位节点。

两种实现的方法所能达到的效果基本大同小异, 而且利用for () 循环函数可以实现多网页数据的爬取, 从上手角度上讲, rvest包显示是更胜一筹, 是XML包和RCurl包的进化, 更加简洁方便。而除此之外, 用Python实现网络爬虫也是很受欢迎。Python的pandas模块工具借鉴了R的dataframes, 而R中的rvest包则参考了Python的Beautiful Soup, 两种语言在一定程度上存在互补性。Python在实现网络爬虫上更有优势, 但就网页数据爬取方面而言, 基于R语言工具进行实现, 更加简洁方便, 而且R在统计分析上是一种更高效的独立数据分析工具, 运用R语言获取的数据避免了平台环境转换的繁琐, 从数据获取、数据清洗到数据分析, 代码环境、平台保持了一致性。