我是剛剛接觸站內優化的，因為之前一直是做站外優化的，所以對站內優化還不是很了解，今天主要跟打擊分享的是站內優化過程中很多人會忽視的三個方面，即：sitemap、404頁面、robots.txt。很多站長在做站內優化的時候很容易忽視這三個方面，覺得sitemap、404頁面、robots.txt沒有什么優化的必要，只要網站上有就行了。其實完全不是這樣的，很多新站收錄慢，或者根本不被收錄;老站排名上不去，很大的原因就是因為沒有做好這三方面的優化。如果把這三個方面的優化做好你會發現蜘蛛對你的網站的友好度會大大提升。

　　sitemap又稱網站地圖。

　　在專業術語上，sitemap就是一個頁面，上面放置了網站上所有頁面的鏈接，一個網站所有鏈接的容器，根據網站的結構、框架、內容，生成的導航網頁文件。大多數人在網站上找不到自己所需要的信息時，可能會將網站地圖作為一種補救措施，蜘蛛非常喜歡網站地圖。

　　為什么要講網站地圖呢，把蜘蛛比作是一個人，當你到一個陌生的城市時，第一個想到的應該是去買一張這個城市的地圖，不然很容易迷路的。同樣的道理蜘蛛爬行你的網站時要是有一張地圖引導他，他就不會迷路，而且要是你的地圖結構合理且連續性強的話，蜘蛛就會長時間停留在你的網站上。做一個很形象的比喻，我們在買到一張地圖時，如果他上面的路標、地名標示的不是很明顯，或者說是很清晰，我們上哪去找我們要到達的地方呢。還有就是你的地圖很混亂，道路與道路之間沒有一定的延續性也會導致迷路的。所以我們的網站地圖優化需要我們在做站內鏈接的時候要有一定的合理延續性，當你從一個頁面鏈接到另一個頁面是一定要有一定的相關性，不然很容易引起蜘蛛的反感的，網站的URL地址就跟地圖的路標一樣一定要標明的很明確，不要用一些不懂得或者跟頁面不相關的字母。不然蜘蛛在爬取你的網站時很難讀懂你網站網頁的具體內容的。

　　404頁面

　　404是W3C規定的HTTP狀態碼中的一種。是WWW網站訪問比較經常出現的錯誤。告訴瀏覽者其所請求的頁面不存在或鏈接錯誤，同時引導用戶使用網站其他頁面而不是關閉窗口離開，這種專業的官方解釋。通俗點將404頁面就是一個網站內的報錯頁面，當我們輸入你的網站網址出現錯誤時，就會直接跳轉到404頁面，404頁面會引導用戶返回到網站的首頁或者其他用戶比較關注的頁面。這就需要我們在制作404頁面時要給用戶或者蜘蛛做一個很好的引導作用，引導用戶回到你網站的首頁或者其他頁面，要是你的404頁面什么都沒有的話，蜘蛛或者用戶訪問到你這個頁面找不到任何的信息就會直接關閉，這樣的用戶體驗是很不好的。我們可以從下圖的一個404頁面看出來，這個網站的404頁面有一個返回首頁跟免費咨詢這兩個返回鏈接，這樣的404頁面優化就已經算是不錯的了，我們出錯了可以回到首頁尋找我們想要找的信息。

　　Robots.txt

　　在搜索引擎訪問網站的時候，Robots.txt是第一個要被查看的文件，Robots.txt會告訴網絡蜘蛛程序在服務器上什么文件是可以被查看的。在進行SEO網站優化的時候，通過Robots.txt把一些內容不想讓蜘蛛抓取，比如js等后臺程序文件 進行攔截，如果沒有Robots.txt，蜘蛛會抓取你網站上所有的文件，這樣的話你網站內部一些蜘蛛不喜歡的文件也會被抓取到，這樣會讓蜘蛛對你的網站產生很嚴重 的排斥心理，會大大降低網站的搜索引擎抓取效率!所以，我們一定要記得設置Robots.txt，不僅要設置，特別是一些JS跳轉的文件，一定不要讓那個蜘蛛抓取。一些網站是可以注冊的，我們也要把注冊信息屏蔽掉，你想你那么多的注冊信息讓蜘蛛抓取的話，一點實用的信息都沒有，這也是不利于網站的優化的。包括網站內部的登陸頁面、評論頁面之類的，因為這些頁面每個頁面都存在，這樣蜘蛛抓取的話會主導很多的重復頁面的，也是不利于網站的排名的。