SEOer們要想更好的理解SEO，做好SEO的工作，學習和理解搜索引擎的基本架構(gòu)和原理，是非常有必要的，下面我來講一下搜索引擎的一些組成部分。通用的搜索引擎，一般包含了以下一些功能模塊：

 

1，蜘蛛，即Spider，類似瀏覽器的程序，專門用來下載web頁面

 

2，爬蟲，即Crawler，用來自動跟蹤所有頁面中的鏈接

 

3，索引，即Indexer，專門用來分析蜘蛛和爬蟲下載下來的web頁面

 

4，數(shù)據(jù)庫，存儲下載的頁面信息和處理過的頁面信息

 

5，結(jié)果引擎，從數(shù)據(jù)庫中抽取出搜索結(jié)果

 

6，Web服務器，用來處理用戶的搜索交互請求的web服務器

 

不同的搜索引擎實現(xiàn)，某些地方可能有一定的差別，比如，蜘蛛+爬出+索引的組合功能就是通過一個單一的程序來實現(xiàn)的，它一邊下載頁面，一邊分析出結(jié)果，并利用已有的鏈接來發(fā)現(xiàn)新的資源。當然，這些功能都是所有搜索引擎所固有的，所體現(xiàn)的SEO原則都是類似的。

 

下面對搜索引擎的功能模塊進行分別闡述。

 

蜘蛛。這個功能模塊專門用來下載頁面，類似瀏覽器的功能。它們之間的區(qū)別在于，瀏覽器展現(xiàn)給用戶的是各種形式的信息，包括文本的信息，圖像的信息，視頻的信息，等等；而對于蜘蛛來說，并沒有一些可視化的組件，而是直接跟基本的html源代碼打交道。大家可能都知道，一個標準的web瀏覽器都是帶有html源文件查看的功能的。

 

爬蟲。該功能模塊專門用戶發(fā)現(xiàn)每個頁面中的所有鏈接。它的任務是，通過評估找到的鏈接，或者已定義的地址，來決定蜘蛛去哪里。爬蟲跟蹤這些已經(jīng)找到的鏈接，并且嘗試去發(fā)現(xiàn)對于搜索引擎來說不知道的一些文檔。

 

索引。此功能組件負責解析每個頁面，然后分析各種頁面的元素，例如，文本內(nèi)容，頭部內(nèi)容，結(jié)構(gòu)化或者自定義過的特色部分，特殊的html標簽，等等。

 

數(shù)據(jù)庫。搜索引擎下載和分析的一些數(shù)據(jù)，都要進行存儲。有些時候，它也叫做搜索引擎的索引。

 

結(jié)果引擎。結(jié)果引擎來進行頁面的排名工作。它決定著哪些頁面是最匹配用戶的搜索請求的，并且按照何種有效而合理的次序來顯示這些結(jié)果。這是根據(jù)搜索引擎的排名算法而決定的。它追尋的是這樣一種理念，頁面排名是有價值的，基于用戶興趣驅(qū)動的，所以對于SEO工作者來說這個是最感興趣的，SEOer們的目標就是如何有效提高所關心的網(wǎng)站的頁面排名。

 

Web服務器。搜索引擎web服務器包含了這樣的一個基本的web頁面，有一個用于用戶輸入感興趣的關鍵詞的文本框，并且當用戶提交搜索動作時，將搜索出的結(jié)果合理的展示給用戶。