做新媒體運(yùn)營(yíng)，很多時(shí)候會(huì)需要用到數(shù)據(jù)來(lái)幫助工作，比如你新進(jìn)到一家公司做新媒體內(nèi)容編輯，那你需要盤(pán)點(diǎn)公司已有的內(nèi)容資產(chǎn)，避免重復(fù)生產(chǎn)內(nèi)容。這時(shí)候就需要把網(wǎng)頁(yè)上的數(shù)據(jù)給扒下來(lái)，放在一起，才會(huì)一目了然。

從網(wǎng)頁(yè)上扒數(shù)據(jù)，最好用的方法當(dāng)然是爬蟲(chóng)工具啦。很多人都以為爬蟲(chóng)很難學(xué)吧？我一開(kāi)始也這么認(rèn)為的，直到我遇到了 Web Scraper 這個(gè)運(yùn)營(yíng)工具，才知道原來(lái)爬網(wǎng)頁(yè)數(shù)據(jù)也可以這么簡(jiǎn)單。

下面，我就現(xiàn)身說(shuō)法，講解一個(gè)小白是怎么快速上手 Web Scraper 的。

步驟一：下載 Web Scraper

Web Scraper 是 Chrome 瀏覽器上的一個(gè)插件，你需要翻墻進(jìn)入 Chrome 應(yīng)用商店，下載 Web Scraper 插件。

步驟二：打開(kāi) Web Scraper

先打開(kāi)一個(gè)你想爬數(shù)據(jù)的網(wǎng)頁(yè)，比如我想爬今日頭條上「吳曉波頻道」這個(gè)賬戶的文章標(biāo)題、時(shí)間、評(píng)論數(shù)，那我就先打開(kāi)它，再一一進(jìn)行操作。

然后用快捷鍵 Ctrl + Shift + I / F12 打開(kāi) Web Scraper。

步驟三：新建一個(gè) Sitemap

點(diǎn)擊 Create New Sitemap，里面有兩個(gè)選項(xiàng)，import sitemap是指導(dǎo)入一個(gè)現(xiàn)成的 sitemap，咱小白一般沒(méi)有現(xiàn)成的，所以一般不選這個(gè)，選create sitemap 就好。然后進(jìn)行這兩個(gè)操作：

Sitemap Name：代表你這個(gè) Sitemap 是適用于哪一個(gè)網(wǎng)頁(yè)的，所以你可以根據(jù)網(wǎng)頁(yè)來(lái)自命名，不過(guò)需要使用英文字母，比如我抓的是今日頭條的數(shù)據(jù)，那我就用 toutiao 來(lái)命名； Sitemap URL：把網(wǎng)頁(yè)鏈接復(fù)制到 Star URL 這一欄，比如圖片里我把「吳曉波頻道」的主頁(yè)鏈接復(fù)制到了這一欄。

步驟四：設(shè)置這個(gè) Sitemap

整個(gè) Web Scraper 的抓取邏輯是這樣：設(shè)置一級(jí) Selector，選定抓取范圍；在一級(jí) Selector 下設(shè)置二級(jí) Selector，選定抓取字段，然后抓取。

咱們換個(gè)接地氣的例子，假如你要獲取福建人的姓名、性別和年齡這三個(gè)要素，那么你得這么做：首先要定位到福建省，然后再在福建省里面去定位姓名、性別、年齡。

在這里，一級(jí) Selector 表示你要在中國(guó)這個(gè)大的國(guó)家圈出福建省，二級(jí)Selector 表示你要在福建省的人口中圈定姓名、性別、年齡這三個(gè)要素。

對(duì)于文章而言，一級(jí) Selector 就是你要把這一塊文章的要素圈出來(lái)，這個(gè)要素可能包含了 標(biāo)題、作者、發(fā)布時(shí)間、評(píng)論數(shù)等等，然后我們?cè)僭诙��?jí) Selector 中挑出我們要的要素，比如標(biāo)題、作者、閱讀數(shù)。

下面我們來(lái)拆解這個(gè)設(shè)置一級(jí)、二級(jí) Selector 的工作流：

1. 點(diǎn)擊 Add new selector 創(chuàng)建一級(jí) Selector，按照以下步驟操作：

輸入id：id 代表你抓取的整個(gè)范圍，比如這里是文章，我們可以命名為 wuxiaobo-articles； 選擇Type：type 代表你抓取的這部分的類型，比如元素／文本／鏈接，因?yàn)檫@個(gè)是整個(gè)文章要素范圍選取，我們需要用 Element 來(lái)先整體選取（如果這個(gè)網(wǎng)頁(yè)需要滑動(dòng)加載更多，那就選 Element Scroll Down）； 勾選Multiple：勾選 Multiple 前面的小框，因?yàn)槟阋�選的是多個(gè)元素而不是單個(gè)元素，當(dāng)我們勾選的時(shí)候，爬蟲(chóng)插件會(huì)幫助我們識(shí)別多篇同類的文章； 保留設(shè)置：其余未提及部分保留默認(rèn)設(shè)置。

2. 點(diǎn)擊 select 選擇范圍，按照以下步驟操作：

選擇范圍：用鼠標(biāo)選擇你要爬取數(shù)據(jù)的范圍，綠色是待選區(qū)域，用鼠標(biāo)點(diǎn)擊后變?yōu)榧t色，才是選中了這塊區(qū)域； 多選：不要只選一個(gè)，下面的也要選，否則爬出來(lái)的數(shù)據(jù)也只有一行； 完成選擇： 記得點(diǎn) Done Selecting； 保存：點(diǎn)擊 Save Selector。

3. 設(shè)置好了這個(gè)一級(jí)的 Selector 之后，點(diǎn)進(jìn)去設(shè)置二級(jí)的 Selector，按照以下步驟操作：

新建Selector：點(diǎn)擊 Add new selector ； 輸入id：id 代表你抓取的是哪個(gè)字段，所以可以取該字段的英文，比如我要選「作者」，我就寫(xiě)「writer」； 選擇Type：選 Text，因?yàn)槟阋�抓取的是文本�?勿勾選Multiple：不要勾選 Multiple 前面的小框，因?yàn)槲覀冊(cè)谶@里要抓取的是單個(gè)元素； 保留設(shè)置：其余未提及部分保留默認(rèn)設(shè)置。

4. 點(diǎn)擊 select，再點(diǎn)擊你要爬取的字段，按照以下步驟操作：

選擇字段：這里爬取的字段是單個(gè)的，用鼠標(biāo)點(diǎn)擊該字段即可選定，比如要爬標(biāo)題，那就用鼠標(biāo)點(diǎn)擊某篇文章的標(biāo)題，當(dāng)字段所在區(qū)域變紅即為選中； 完成選擇：記得點(diǎn) Done Selecting； 保存：點(diǎn)擊 Save Selector。

5. 重復(fù)以上操作，直到選完你想爬的字段。

步驟五：爬取數(shù)據(jù)

之所以說(shuō) Web Scraper 是傻瓜式爬蟲(chóng)工具，就是因?yàn)橹恍枰�設(shè)置完所有的 Selector，就可以開(kāi)始爬數(shù)據(jù)了，怎么樣，是不是簡(jiǎn)單？

那么怎么開(kāi)始爬數(shù)據(jù)呢？只需要一個(gè)簡(jiǎn)單的操作：點(diǎn)擊 Scrape，然后點(diǎn)Start Scraping，會(huì)彈出一個(gè)小窗，然后辛勤的小爬蟲(chóng)就開(kāi)始工作了。你會(huì)得到一個(gè)列表，上面有你想要的所有數(shù)據(jù)。

如果你希望把這些數(shù)據(jù)做一個(gè)排序，比如按照閱讀量、贊數(shù)、作者等指標(biāo)排序，讓數(shù)據(jù)更一目了然，那么你可以點(diǎn)擊 Export Data as CSV，把它導(dǎo)入 Excel 表里。

導(dǎo)入 Excel 表格之后，你就可以對(duì)數(shù)據(jù)進(jìn)行篩選了。

以上就是快速上手 Web Scraper 的所有操作過(guò)程，連我這種懶癌 + 手殘都能在 5 分鐘之內(nèi)搞定，相信你也可以指哪兒爬哪兒，完全 OK 的啦。

作者：BPteach

標(biāo)簽： 媒體 選擇

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。