想把SEO做好，一定要對搜索引擎的蜘蛛足夠了解，要了解蜘蛛，就要認真對日志進行分析，下面我愛騾就根據(jù)網(wǎng)站的日志試著對蜘蛛做簡要的分析，下面的幾張截圖是之前分析的網(wǎng)站日志，我們主要就來看看百度蜘蛛和谷歌蜘蛛吧，其他SE果斷無視。

一、抓取的深度和廣度

從圖中可以看出，百度蜘蛛的訪問次數(shù)和抓取量分別是98600和224896，谷歌蜘蛛的訪問次數(shù)和抓取量分別是31157和172790，讓我們用小學數(shù)學老師教的算術(shù)來算一下平均每個蜘蛛訪問的頁面數(shù)，百度蜘蛛：224896/98600=2.28，谷歌蜘蛛：172790/31157=5.54，可以看出百度的抓取廣度要比谷歌優(yōu)越一些，而谷歌蜘蛛的抓取深度明顯要高于百度，百度每個蜘蛛平均才看兩個頁面，因此，很多數(shù)據(jù)量稍大點的網(wǎng)站經(jīng)常會出現(xiàn)這個情況，谷歌收錄比較多，而百度收錄非常少，針對這一點，做百度收錄量的時候，如果數(shù)據(jù)量較大，內(nèi)頁的隨機文章調(diào)用這一塊一定要做好，至于如何隨機，自己發(fā)揮吧。

二、錯誤鏈接的抓取

上圖是隨便抽取的幾個蜘蛛返回404狀態(tài)碼的抓取頁面，從圖中的標注可以看出，即使網(wǎng)站沒有死鏈，蜘蛛仍然會抓取一部分死鏈，百度蜘蛛喜歡抓取一半URL然后就被勾引到別的地方，而谷歌也有htm后綴抓成html的情況，不過相對來說，谷歌的抓取錯誤還是非常少的，而百度就不少了，究其原因，估計只有兩家公司的工程師才清楚，我們也沒必要去關(guān)注這個原因。針對這一點，無論你的站有沒有死鏈，盡量都去給加上404錯誤頁面，因為，不管你有木有死鏈，蜘蛛都會抓到。

三、對新站的抓取

根據(jù)以前觀察幾個新站日志的發(fā)現(xiàn)，百度蜘蛛對一個新站一般第一天會瘋狂抓取，然后會沉寂一段時間，而谷歌比較老實，喜歡按部就班一點一點來，越來越多。上圖是我六月份上的一個新站的日志，6月15號那天掛上去后不到一小時百度收錄首頁，并且瘋狂抓取5500次，第二天就開始在爆發(fā)中沉默，而谷歌一開始抓取的很少，慢慢越來越多（聲明：上圖日志的這10天，網(wǎng)站未做任何外鏈，因此不會受任何外在原因影響）。經(jīng)�？吹胶芏嗳司W(wǎng)站上線第一天看到百度大量抓取感覺很驚訝，覺得是自己網(wǎng)站權(quán)重高，然后第二天開始，蜘蛛直接來個1800度調(diào)整，每天就稍微來看一下，然后就變得很郁悶，覺得是百度不喜歡自己的站了，其實不是這樣，這是百度蜘蛛的特性。

以上只是簡要分析下百度和谷歌蜘蛛抓取網(wǎng)站的特性，只是冰山一角，網(wǎng)站日志還有太多我們該去分析的東西，本文轉(zhuǎn)自：福州SEO@我愛騾，原文鏈接：http://www.52luo.com/post/138.html，轉(zhuǎn)載請注明出處。

標簽： 搜索引擎蜘蛛 網(wǎng)站日志分析 SEO 

版權(quán)申明：本站文章部分自網(wǎng)絡，如有侵權(quán)，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請與原作者聯(lián)系。