Golang采集网页元素 go-rod (浏览器自动化工具)配合goquery使用
go-rod 优势在网页元素加载完毕后才开始采集
// 引入 “github.com/go-rod/rod”
// 引入 “github.com/PuerkitoBio/goquery”
// 使用 go-rod (浏览器自动化工具)
// 引入 "github.com/go-rod/rod"
// 引入 "github.com/PuerkitoBio/goquery"
page := rod.New().MustConnect().MustPage("https://www.xxx.xx").MustWaitLoad()
html, err := page.HTML()
if err != nil {
fmt.Println("加载网页:", err)
}
doc, err := goquery.NewDocumentFromReader(strings.NewReader(html))
if err != nil {
log.Println("爬取网页数据 异常:", err)
}
// 在这里进行 goquery 解析
doc.Find("body").Each(func(i int, s *goquery.Selection) {
band := s.Find(".clsseName")
date := band.Find(".clsseDate").Text() //采集日期
number := band.Find(".divNumber").Text() //采集号码
}