使用 superagent+cheerio 寫爬蟲

大數(shù)據(jù)

作者：?劉一奇

本文將會講解如何使用 superagent+cheerio 寫爬蟲。閱讀本文，你會學習到這些知識點：

如何使用 superagent 獲取頁面內(nèi)容如何使用 superagent 獲取 JS 文件的內(nèi)容如何使用 superagent 下載文件如何使用 cheerio 操作頁面 DOM如何正確設(shè)置字符編碼來避免亂碼如何使用正則表達式去除字符串中的多余信息

使用 superagent 獲取頁面內(nèi)容

superagent+cheerio 是 Node 爬蟲的經(jīng)典組合。superagent 是一個發(fā)起 Ajax 請求的工具。我們使用它來請求各種網(wǎng)絡(luò)資源。比如，我們想批量爬取一些文件，我們就必須先找到文件的 URl，想找到 URL 就必須先獲取記錄這些 URL 的頁面，想獲取頁面內(nèi)容，那么首先就應(yīng)該使用 superagent 把頁面給請求下來?；镜恼埱蟠a如下：

request.get('http://example.com/search').end(function(err, res){// 將會打印頁面的 HTML 字符串console.log(res.text);});

拿到了 HTMl 字符串，就可以使用 cheerio 進行解析了。關(guān)于 cheerio 我們等會介紹～

使用 superagent 獲取 JS 文件的內(nèi)容

使用 superagent 獲取頁面內(nèi)容非常簡單，但是當我請求完頁面后發(fā)現(xiàn)，音頻和字幕的 URL 不在頁面上，而是通過 JS 動態(tài)渲染到頁面上的，我的爬蟲無法和 JS 通信，這該怎么辦呢？其實非常簡單，既然 URL 信息在 JS 文件中，那么我們直接獲取 JS 文件，并使用 eval 方法解析不就行了？所以，我們來使用 superagent 獲取 JS 文件的內(nèi)容。與獲取頁面內(nèi)容的方法不同，獲取 JS 文件，需要加個?.buffer(true)?：

request.get('https://raw.githubusercontent.com/sindresorhus/negative-zero/master/index.js').buffer(true).end(function (err, res) {...}

為何要如此？具體原因可以看這個 Issue：

https://github.com/visionmedia/superagent/issues/523

使用 superagent 下載文件

前面兩節(jié)介紹了使用 superagent 獲取頁面和 JS 文件，那么如何使用 superagent 下載保存文件到硬盤上呢？這里需要配合使用 Node 的?fs.createWriteStream?方法，代碼如下：

function download(url, localPath, cb) {var stream = fs.createWriteStream(localPath);stream.on('finish', function () {console.log('The download of ' + localPath + ' is complete!');cb();});request.get(url).pipe(stream);}

非常簡單，不再贅述！

使用 cheerio 操作頁面 DOM

在第一節(jié)，我們介紹了使用 superagent 獲取頁面內(nèi)容，但是頁面內(nèi)容太多，我們想高效提取有用信息，該如何做呢？在瀏覽器中，我們通常使用 jQuery 來高效操作 DOM，在 Node 爬蟲中，我們可以使用 cheerio 來模擬 jQuery 的操作方法。cheerio 的基本用法如下：

var cheerio = require('cheerio')var $ = cheerio.load('<h2 content="text/html; charset=gb2312">

使用正則表達式去除字符串中的多余信息

最后，我們來講一下如何使用使用正則表達式去除字符串中的多余信息。在下載文件時，可能需要處理一些中文名稱作為將來的文件名或目錄名。頁面中的中文名稱往往不是我們想要的，那么如何處理名稱中的多余信息呢？使用正則表達式就可以做到！比如：

如果你想將?‘聽電影學英語之海上鋼琴師’變?yōu)?#8217;海上鋼琴師’，那么你可以這么做：

// str 就是'海上鋼琴師'var str = '聽電影學英語之海上鋼琴師'.replace(/聽電影學英語之/g, '');

如果你想將?‘聽電影MP3學英語之海上鋼琴師’?或?‘聽電影學英語之海上鋼琴師’變?yōu)?#8217;海上鋼琴師’，那么你可以這么做：

// str 就是'海上鋼琴師'var str = '聽電影學英語之海上鋼琴師'.replace(/聽電影(MP3)?學英語之/g, '');

注：小括號代表子表達式，問號代表前面的字符出現(xiàn) 0 或 1 次。

如果你想將以下字符串：

‘聽電影學英語之海上鋼琴師’‘聽電影MP3學英語之海上鋼琴師’‘聽電影MP3學英語之海上鋼琴師中英雙語MP3+LRC’‘聽電影MP3學英語之海上鋼琴師 中英雙語MP3+LRC’‘聽電影MP3學英語之海上鋼琴師 中英雙語MP3+LRC+文本’‘聽電影MP3學英語之海上鋼琴師 中英雙語MP3+LRC+文本 ‘

都變?yōu)?‘海上鋼琴師’，那么正則表達式應(yīng)該這么寫：

/(聽電影(MP3)?學英語之)|(\s?中英雙語MP3\+LRC(\+文本)?)|(\s?$)/g

把各種情況都考慮進去，然后用?|?隔開。其中，\s?匹配任何空白字符，包括空格、制表符、換頁符等等。

總結(jié)

上面介紹了 superagent+cheerio 寫爬蟲需要用到的各種技術(shù)，本文不打算對業(yè)務(wù)進行過多敘述。只要掌握了上述方法，就可以輕松讀懂爬蟲代碼，如果你沒寫過爬蟲，就趕快試試吧！

極客網(wǎng)企業(yè)會員

免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關(guān)資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。

2017-11-10
使用 superagent+cheerio 寫爬蟲
作者：?劉一奇 本文將會講解如何使用 superagent+cheerio 寫爬蟲。閱讀本文，你會學習到這些知識點： 如何使用 superagent 獲

長按掃碼 閱讀全文