爬行器在 Web 上漫游，尋找要添加進(jìn)搜索引擎索引中的列表。爬行器有時(shí)也稱為 Web 爬行榜（Webcrawler）或機(jī)器人。針對(duì)有機(jī)列表優(yōu)化頁(yè)面也就是為了吸引爬行器的注意。
　　在SEO中過(guò)多使用flash和Ajax技術(shù)，會(huì)給搜索引擎帶來(lái)很多麻煩,搜索引擎還不能很好地索引由flash、ajax表現(xiàn)的網(wǎng)頁(yè),原因就是搜索引擎只索引頁(yè)面,而不會(huì)索引應(yīng)用程序。
　　還有即使搜索引擎做到了完全解釋Flash文件或者ajax應(yīng)用程序，并能分析和索引它們的相關(guān)內(nèi)容，也還是沒(méi)有任何辦法使用url導(dǎo)航應(yīng)用程序，對(duì)排 名沒(méi)有一點(diǎn)幫助。搜索引擎的主要目標(biāo)的是將搜索結(jié)果提交給用戶，但當(dāng)處理這些媒體信息時(shí)，搜索引擎將無(wú)法排列這些信息的順序。總之，F(xiàn)lash和Ajax 將會(huì)帶來(lái)更多有創(chuàng)意的設(shè)計(jì)，也會(huì)帶來(lái)更難偵測(cè)的垃圾網(wǎng)站形式。
　　谷歌索引的Flash，給的建議就是，網(wǎng)站設(shè)計(jì)者應(yīng)該僅在需要使用Flash和 Ajax的地方使用它，應(yīng)該主要還是多使用HTML語(yǔ)言設(shè)計(jì)網(wǎng)站，而將Flash和Ajax作為輔助技術(shù)，為用戶提供切實(shí)的好處。通常，HTML和 JavaScript的混合也基本可以達(dá)到使用這些技術(shù)的效果。也就是說(shuō)，在使用Flash和Ajax時(shí)應(yīng)把它們當(dāng)成頁(yè)面上的單元，而不是頁(yè)面本身。