目錄一、 爬蟲二、 索引器三、 檢索器四、 用戶接口正文

爬蟲是搜索引擎的最基本的、最基層的程序。它是可以用c語言等的編程語言來編寫的。爬蟲又叫蜘蛛、機器人。一般來說搜索引擎為了提高信息捕捉速度會有幾個爬蟲程序，而每個爬蟲程序可以在一秒中之內(nèi)同時爬行幾個百個網(wǎng)頁（甚至更多），蜘蛛的爬行就是分析網(wǎng)頁內(nèi)容的過程，通過分析然后決定是否被收錄。蜘蛛的爬行是通過網(wǎng)頁中的超級鏈接來進行的。

這里有兩種方式：

第一種，是通過已知的url集合（通常是知名的網(wǎng)站，該網(wǎng)站上有很多的鏈接，或是已經(jīng)爬行過的網(wǎng)站）來逐個爬行，直至遍歷所有的網(wǎng)頁。

第二種，就是按照網(wǎng)頁空間的域名，ip段，一個ip或是域名的區(qū)間來訪問，通常是一個或幾個蜘蛛負責一段區(qū)間的窮盡搜索。蜘蛛在爬行的時候會分析關(guān)鍵詞，會切詞……下面會有介紹。

索引器索引器是是參與搜索引擎最重要的過程的程序，索引器在分詞與索引的過程中扮演者非常重要的角色。搜索引擎的查找信息的方式和我們平時查找的方式（例如在文本編輯器中輸入ctrl+F）那是不一樣的，按照這樣的方式進行信息的查找，即使是一臺功能非常強勁的超級計算機那也得花上非常長的一段時間，這樣的方法顯然是行不通的，因為用戶等不了。

搜索引擎的開發(fā)人員一開始便考慮到了這樣一點，所以采用了一招很聰明的方法，就是按關(guān)鍵詞建立索引，這有點像我們平時在字典中查找字，我們在字典中查找一個字的時候并不是一頁一頁的翻來查找的，而是通過目錄建立的索引來查找的，這個目錄通常是按照偏旁部首、字母abc來建立的。那么搜索引擎也采用了相似的處理方式，在蜘蛛分析一個網(wǎng)頁的時候是按照關(guān)鍵詞的出現(xiàn)位置，頻次然后建立索引。

比如說，通過分析江南社區(qū)這個論壇的網(wǎng)頁找到了“網(wǎng)絡(luò)營銷論壇”，同樣在別的網(wǎng)站比如說www.***.com（只是舉個例子不一定存在這樣的網(wǎng)站），那么搜索引擎就會給我的網(wǎng)站歸為這一類關(guān)鍵詞的索引中，并且給它排個序。同樣的“seo優(yōu)化”這個關(guān)鍵詞出現(xiàn)在一些以seo為內(nèi)容的網(wǎng)站上，比如seo十萬個為什么等的，同樣也涉及seo優(yōu)化，所以“seo十萬個為什么”屬于這個關(guān)鍵詞目錄中，當用戶在搜索框中輸入“seo 網(wǎng)絡(luò)營銷”關(guān)鍵詞時，檢索器就要進行邏輯與運算，最后返回既符合seo搜索者的需要，有符合網(wǎng)絡(luò)營銷的網(wǎng)站——江南社區(qū)（這里只是舉個例子）。這個邏輯與的運算其實它是二進制的運算，這個屬于檢索器的工作范疇，這里只是簡單的提下方便大家有個整體的把握，更為詳細的內(nèi)容我會再寫內(nèi)容來詳細介紹，不過也很簡單。

我這里只是簡單分析，但是實際上搜索引擎的原理肯定是比我所說的要復(fù)雜的多的檢索器檢索器用于拆分用戶輸入的關(guān)鍵詞。先分詞（常見的中文分詞方式有正向最大匹配，反向最大匹配，最短路徑分詞法等的）。拆分后然后匹配檢索索引目錄然后返回匹配結(jié)果（就像上面介紹的那樣）以一定的順序返回給用戶。 最后就是用戶接口用戶接口比較簡單，就是提供給用戶的是什么樣的搜索頁面，以及以什么樣的結(jié)果頁面返回給用戶。這個涉及到復(fù)雜和簡單接口，簡單接口就是輸入字符串；復(fù)雜接口就是我們有時候用的一些命令，如site，link等的可以讓用戶對查詢結(jié)果進行限制的。

本文由江南社區(qū)原創(chuàng)首發(fā)，歡迎轉(zhuǎn)載，為尊重原作者的勞動，轉(zhuǎn)載時請注明出處江南社區(qū)，謝謝！

標簽： 網(wǎng)站優(yōu)化 搜索優(yōu)化 搜索引擎工作原理 

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請與原作者聯(lián)系。