如何使用Golang开发爬虫数据存储

使用Golang开发爬虫需先发送HTTP请求获取网页内容，可采用net/http库或colly等第三方库；接着用goquery解析HTML，通过CSS选择器提取标题、链接等结构化数据；随后将数据存储至MySQL、MongoDB或本地JSON/CSV文件；最后利用goroutine实现并发抓取，并设置User-Agent与限速策略避免被封IP。

使用Golang开发爬虫并存储数据，关键在于选择合适的HTTP请求库、解析工具和存储方式。Golang的高效并发特性让它非常适合做爬虫开发。下面从数据获取到存储的完整流程进行说明。

发送HTTP请求获取网页内容

使用Golang标准库net/http即可发起GET请求，配合io/ioutil读取响应体。对于更复杂的场景，推荐使用第三方库如colly或goquery。

示例代码：

resp, err := http.Get("https://example.com")
if err != nil {
log.Fatal(err)
}
defer resp.Body.Close()
body, _ := ioutil.ReadAll(resp.Body)
// body 即为网页原始内容

解析HTML提取结构化数据

使用goquery可以像jQuery一样操作HTML节点，适合处理基于DOM的页面。

立即学习“go语言免费学习笔记（深入）”；

常用方法包括：

• Find(“selector”)：通过CSS选择器查找元素
• Each()：遍历匹配的节点
• Text() / Attr()：获取文本或属性值

例如提取所有标题：

doc, _ := goquery.NewDocumentFromReader(strings.NewReader(string(body)))
doc.Find("h2.title").Each(func(i int, s *goquery.Selection) {
title := s.Text()
fmt.Println(title)
})

将数据存储到数据库

常见存储目标包括MySQL、PostgreSQL、MongoDB和本地文件。使用database/sql配合驱动（如mysql）可写入关系型数据库。

存了个图

视频图片解析/字幕/剪辑，视频高清保存/图片源图提取

17

查看详情

以MySQL为例：

• 导入“github.com/go-sql-driver/mysql”
• 打开连接：sql.Open(“mysql”, dsn)
• 执行插入语句，建议使用预编译防止SQL注入

代码片段：

db, _ := sql.Open("mysql", "user:password@/dbname")
stmt, _ := db.Prepare("INSERT INTO articles(title, url) VALUES(?, ?)")
stmt.Exec("示例标题", "https://example.com/1")

若偏好NoSQL，可用mongo-go-driver写入MongoDB，结构更灵活。

保存为本地文件（JSON/CSV）

适合小规模数据或临时分析。Golang内置encoding/json和encoding/csv包。

写入JSON示例：

data := []map[string]string{{"title": "test", "url": "https://..."}}
file, _ := os.Create("output.json")
defer file.Close()
json.NewEncoder(file).Encode(data)

基本上就这些。根据目标网站复杂度选择合适工具，注意设置User-Agent、限速避免被封IP。Golang的goroutine也能轻松实现并发抓取，提升效率。