一般來說，盡量讓搜索引擎抓取和索引更多內(nèi)容是SEO們經(jīng)常頭疼的一個問題，沒有收錄、索引就無從談排名。尤其對達(dá)到一定規(guī)模的網(wǎng)站來說，使網(wǎng)站充分收錄是個頗令人費神的SEO技術(shù)，當(dāng)頁面達(dá)到比如說幾十萬，無論網(wǎng)站架構(gòu)怎么設(shè)計、多么優(yōu)化，100%收錄都是不可能的，只能盡量提高收錄率。

但有時候怎么阻止搜索引擎收錄也可能成為一個問題，最近越來越成為問題。需要阻止收錄的情況如保密信息、復(fù)制內(nèi)容、廣告鏈接等。過去常用的阻止收錄方法包括密碼保護(hù)、把內(nèi)容放在表格后面、使用JS/Ajax、使用Flash等。

使用Flash

Google幾年前就開始嘗試抓取Flash內(nèi)容了，簡單文字性內(nèi)容已經(jīng)能抓取。Flash里面的鏈接也能被跟蹤。

表格

Google蜘蛛也能填表，也能抓取POST請求頁面。這個早就能從日志中看到。

JS/Ajax

使用JS鏈接一直以來被當(dāng)作不搜索引擎友好的方法，因此可以阻止蜘蛛爬行，但兩三年前我就看到JS鏈接不能阻止Google蜘蛛抓取，不僅JS中出現(xiàn)的URL會被爬，簡單的JS還能被執(zhí)行找到更多URL。

前幾天有人發(fā)現(xiàn)很多網(wǎng)站使用的Facebook評論插件里的評論被爬、被收錄，插件本身是個AJAX。這是個好消息。我的一個實驗電子商務(wù)網(wǎng)站產(chǎn)品評論功能就因為這個費了不少心思，用Facebook comments插件好處大大的，具體什么好處以后有時間再說，唯一的問題就是評論是AJAX實現(xiàn)的，不能被抓取，而產(chǎn)品評論被收錄是目的之一（產(chǎn)生原創(chuàng)內(nèi)容）。我當(dāng)時想了半天也沒有解決方法，只好先傻傻地既放上Facebook comments插件又打開購物車本身的評論功能�，F(xiàn)在好了，F(xiàn)acebook comments里的評論能被收錄，就不用兩套評論功能了。

Robots文件

目前唯一確保內(nèi)容不被收錄的方法是robots文件禁止。但也有個壞處，會流失權(quán)重，雖然內(nèi)容是不能收錄了，但頁面成了只接受鏈接權(quán)重、不流出權(quán)重的無底洞。

Nofollow

Nofollow并不能保證不被收錄。就算自己網(wǎng)站所有指向頁面的鏈接都加了NF，也不能保證別人網(wǎng)站不給這個頁面弄個鏈接，搜索引擎還是能發(fā)現(xiàn)這個頁面。

Meta Noindex + Follow

（11月3日補(bǔ)充）讀者no1se提醒，為防止收錄又能傳遞權(quán)重，可以在頁面上使用meta noindex和 meta follow，這樣頁面不收錄，但能流出權(quán)重。確實如此，也是個比較好的方法。也有一個問題，還是會浪費蜘蛛爬行時間。哪位讀者有能防止收錄、又沒有權(quán)重流失、又不浪費爬行時間的方法，請留言，對SEO界功德無量。

怎樣使頁面不被收錄是個值得思考的問題，沒意識到嚴(yán)重性的童鞋可以想想自己網(wǎng)站上有多少復(fù)制內(nèi)容、低質(zhì)量內(nèi)容、各種無搜索價值（但用戶覺得方便、有用所以又不能拿掉）的分類、過濾URL。

作者： Zac@SEO每天一貼

版權(quán)所有。轉(zhuǎn)載時必須以鏈接形式注明作者和原始出處及本聲明。

標(biāo)簽： 網(wǎng)站隱藏內(nèi)容 SEO Flash內(nèi)容 

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請與原作者聯(lián)系。