使用 rvest 和 xml2 从网页中提取所有嵌套 URL

本文介绍了如何使用 R 语言中的 rvest 和 xml2 包从网页中提取嵌套的 URL。由于某些网页的内容是通过 JavaScript 动态加载的，直接使用 read_html 可能无法获取完整的 HTML 结构。本文提供了一种通过分析网络请求，直接获取包含 URL 的 JSON 数据的方法，并使用 httr 包和 dplyr 包进行解析和提取。

理解动态加载的网页

现代网页经常使用 JavaScript 来动态加载内容。这意味着，当你使用 read_html 函数读取网页时，你可能只能获取到初始的 HTML 结构，而缺少通过 JavaScript 加载的部分。这些动态加载的内容可能包含你想要提取的 URL。

分析网络请求

要解决这个问题，你需要分析网页的网络请求，找到加载数据的 API 接口。你可以使用浏览器的开发者工具（通常通过 F12 键打开）来查看网络请求。在 “Network” 选项卡中，你可以找到网页加载的所有资源，包括 HTML、CSS、JavaScript、图片和 JSON 数据等。

获取 JSON 数据

在找到包含 URL 的 JSON 数据后，你可以使用 httr 包来发送 HTTP 请求，获取数据。以下是一个示例：

library(httr)
library(dplyr)
url <- paste0("https://thrivemarket.com/api/v1/products",
"?page_size=60&multifilter=1&cur_page=1")
content(GET(url))$products %>%
lapply(function(x) data.frame(product = x$title, url = x$url)) %>%
bind_rows() %>%
as_tibble()

代码解释：

1. library(httr) 和 library(dplyr): 加载 httr 用于发送 HTTP 请求，dplyr 用于数据处理。
2. url <- paste0(…): 构建 API 的 URL。你需要根据你分析的网络请求结果修改这个 URL。
3. content(GET(url))$products: 使用 GET 函数发送 HTTP GET 请求，content 函数将响应内容解析为 R 对象。 $products 用于提取 JSON 数据中包含产品信息的列表。
4. lapply(function(x) data.frame(product = x$title, url = x$url)): 使用 lapply 函数遍历产品列表，并提取每个产品的标题和 URL，并将它们存储在一个数据框中。
5. bind_rows(): 将所有数据框合并成一个大的数据框。
6. as_tibble(): 将数据框转换为 tibble 对象，这是一种更现代的数据框格式。

注意事项

• API 的 URL 可能会改变: 网页的 API 接口可能会随着时间的推移而改变。你需要定期检查你的代码，确保它仍然能够正常工作。
• 需要遵守网站的robots.txt: 在抓取网页数据时，务必遵守网站的 robots.txt 协议，尊重网站的爬取规则。
• 设置请求头 (User-Agent): 有些网站会根据请求头来判断是否为爬虫，可以在 GET 请求中设置 User-Agent 字段，模拟浏览器行为。

library(httr)
library(dplyr)
url <- paste0("https://thrivemarket.com/api/v1/products",
"?page_size=60&multifilter=1&cur_page=1")
headers = c('User-Agent' = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3')
content(GET(url, add_headers(headers)))$products %>%
lapply(function(x) data.frame(product = x$title, url = x$url)) %>%
bind_rows() %>%
as_tibble()

总结

当使用 rvest 和 xml2 无法直接提取动态加载的网页内容时，分析网络请求，直接获取 JSON 数据是一种有效的替代方案。使用 httr 包发送 HTTP 请求，并使用 dplyr 包进行数据处理，可以轻松地提取你需要的 URL。记住，你需要定期检查你的代码，确保它仍然能够正常工作，并遵守网站的爬取规则。