國外SEO從業者Eli Schwartz分享了他使用Splunk的幾個心得。以下為Eli Schwarz（下文中的“我”）分享的經驗：

　　想必每個對SEO技術感興趣的站長都希望能夠從更深層次了解網站架構、以及谷歌搜索引擎的排名規則等。從我這些年研究SEO技術的經驗來看，深入分析網站訪問日志能夠讓我更了解搜索引擎是如何“看待”網站的，而在眾多網站分析工具中，Splunk無疑是最讓我放心、也是最實用的一款。

　　注：Splunk是機器數據的引擎。可用于收集、索引和利用所有應用程序、服務器和設備(物理、虛擬和云中)生成的快速移動型計算機數據 。

　　1、監測網站URL是否已被谷歌爬蟲抓取（百度蜘蛛、雅虎爬蟲亦可監測）

　　當網站生成了一個新的頁面，站長們最關心的自然是頁面的收錄問題。如果以快照作為指標，或許得在谷歌爬蟲抓取后的幾天（甚至幾個星期）才能確定是否已被收錄。要快點兒的話，可以直接在搜索引擎中搜索相關頁面的標題。

　　而最行之有效的便是查看網站日志，便可確定網頁是否已被谷歌爬蟲抓取。這就該用到Splunk了。

　　具體步驟：

　　1、首先選擇要查詢的時間段。時間段越短，響應速度自然越快，所以盡可能縮短查詢的時間差。

　　2、在查詢框中輸入以下查詢語句：

　　Index = {the name of your index} url stub AND googlebot

　　比如：如果你索引名是“Primary”，URL是“free-trial.html”，則查詢語句為：

　　Index=primary free-trial.html AND googlebot

　　1、查看日志

　　2、查找404頁面

　　404頁面是一種很招人煩的東西，98%的訪客在看到404頁面時，往往都會直接關閉頁面。這樣一來，你的網站不僅損失了一次展示內容或產品的幾乎，用戶還默默的在心里給了你個差評。你：以后還來我們網站嗎？用戶：呵呵。

　　對于404頁面，你可以選擇使用ScreamingFrog之類的工具來查找修復。但是在失效頁面數量太多的情況下，你就該事實日志解析了。通過日志解析，你可以找出那些最多人訪問的404頁面，有選擇的來修復頁面、或是做跳轉。

　　設置Splunk來查找404頁面：

　　1、首先選擇查找時間差，我通常將其設為30天，你們可以按需隨意設置。

　　2、在查詢框中輸入以下查詢語句：

　　Index = {the name of your index} status = 404 | top limit = 50 uri

　　限制數量可自行確定，我比較喜歡定為50條URL。查詢語句執行完成后，點擊Statistics選項，便可在列表中找出訪客最多的404頁面們。

　　2、查找404頁面

　　3、查找設置過302跳轉的頁面

　　不同于301跳轉，302跳轉屬于暫時重定向。不過在很多鏈接價值測試中，302都能通過測試，而且也有排名。但由于前些年，不少黑帽SEO通過這項技術來獲取排名，如今很多搜索引擎都加大了對其的打擊力度。因而302跳轉只能用于那些只需做暫時跳轉的頁面。

　　通過Splunk查找302跳轉頁面的步驟：

　　1、同樣也是先選擇查找時間段，可按需設置，我喜歡將其設為30天。

　　2、輸入如下查詢語句：

　　Index = {the name of your index} status = 302 | top limit = 50 uri

　　跟查找404頁面一樣，可按需設置。

　　3、查找302跳轉頁面

　　4、統計每天被谷歌搜索引擎抓取的頁面

　　如果你有用過谷歌管理員工具，那么你對谷歌抓取URL的展示頁面一定不陌生。但這些數據是否準確，你得查看網站日志才能確定。

　　使用Splunk查詢每日抓取的URL步驟：

　　1、同樣也是選取時間，我還是喜歡設為30天（如果數據較多可以7天為單位）。

　　2、輸入查詢語句：

　　index ={name of your index} googlebot | timechart count by day

　　查詢語句執行完后，點擊Statistics選項，則會看到谷歌爬蟲每天抓取的頁面數據。也可點擊“visualization”選項查看變化詳情。

　　4、谷歌爬蟲每日抓取頁面

　　5、統計谷歌移動端爬蟲每日抓取頁面

　　隨著移動互聯網的發展，移動搜索也愈發重要。如果想知道谷歌移動爬蟲每天抓取的URL數量，就無法使用谷歌管理員工具了。那么，就只能通過網站訪問日志來查看該數據。

　　下面以iPhone為例，使用Splunk查詢：

　　1、同樣也是選取時間，我還是喜歡設為30天（如果數據較多可以7天為單位）。

　　2、輸入以下查詢語句：

　　index ={name of your index} googlebot AND iphone | timechart count by day

　　語句執行完畢后，點擊Statistics選項，便可得出所需數據，與PC端一樣，也可以在“visualization”選項中查看更多詳情。

　　5、谷歌移動爬蟲每日抓取頁面

　　6、找出浪費爬蟲抓取量的垃圾頁面

　　站長們都知道，搜索引擎對每個網站的抓取數量都有一定的限制，網站的PR或權重不同，抓取“限額”也各異。所以，如果網站中的垃圾頁面被抓取，那么高質頁面則可能會失去被抓取的機會。

　　如果不清楚谷歌爬蟲的爬行路徑，則無法知曉谷歌抓取限額的利用率。這時候，就需要使用Splunk來檢測了。

　　步驟如下：

　　1、選擇時間段，可隨意選取，最好選擇多個進行對比。

　　2、輸入以下查詢語句：

　　index={name of your index} googlebot uri_stem=”*”| top limit=20 uri

　　限制數量可隨意選取，但20條是比較好管理的。與之前一樣，執行完語句后，點擊statistic選項，而后便可在列表中找出你覺得應該移除的頁面，在robots.txt文件中將其屏蔽。

　　6、篩選需屏蔽頁面

　　7、500錯誤頁面

　　當服務器無法完成HTTP請求時，則會返回500錯誤頁面。很多時候，500錯誤對SEO工作都存在一定的負面影響。其實，在500錯誤影響到搜索排名時，谷歌便會通過管理員工具向站長發送請求中斷信息，不過這類信息通常要24小時后才能接收到。

　　除了影響搜索引擎排名外，500錯誤頁面也會降低網站的用戶體驗度。而加入Splunk工具的Enterprise計劃則可實時監控500錯誤。

　　步驟如下：

　　1、搜索如下查詢語句：

　　index={name of your index} AND “status=5*”

　　2、點擊“Save As”然后在下拉菜單中選擇“Alert”。

　　3、命名Alert。

　　4、將Alert的狀態改為“Real Time”。

　　5、點擊“Next”。

　　6、在下個頁面，會出現“Send Email”選項。

　　7、在輸入框中輸入郵件，然后點擊“Save”。

　　7、實時監控500頁面

　　總結

　　Splunk可以用于多種SEO工作，可以給工作帶來很大的便利性。如果還沒用過的站長們，不妨嘗試下哦！