我是剛剛接觸站內(nèi)優(yōu)化的，因?yàn)橹�前一直是做站外�?yōu)化的，所以對(duì)站內(nèi)優(yōu)化還不是很了解，今天主要跟打擊分享的是站內(nèi)優(yōu)化過(guò)程中很多人會(huì)忽視的三個(gè)方面，即：sitemap、404頁(yè)面、robots.txt。很多站長(zhǎng)在做站內(nèi)優(yōu)化的時(shí)候很容易忽視這三個(gè)方面，覺(jué)得sitemap、404頁(yè)面、robots.txt沒(méi)有什么優(yōu)化的必要，只要網(wǎng)站上有就行了。其實(shí)完全不是這樣的，很多新站收錄慢，或者根本不被收錄;老站排名上不去，很大的原因就是因?yàn)闆](méi)有做好這三方面的優(yōu)化。如果把這三個(gè)方面的優(yōu)化做好你會(huì)發(fā)現(xiàn)蜘蛛對(duì)你的網(wǎng)站的友好度會(huì)大大提升。

　　sitemap又稱網(wǎng)站地圖。

　　在專業(yè)術(shù)語(yǔ)上，sitemap就是一個(gè)頁(yè)面，上面放置了網(wǎng)站上所有頁(yè)面的鏈接，一個(gè)網(wǎng)站所有鏈接的容器，根據(jù)網(wǎng)站的結(jié)構(gòu)、框架、內(nèi)容，生成的導(dǎo)航網(wǎng)頁(yè)文件。大多數(shù)人在網(wǎng)站上找不到自己所需要的信息時(shí)，可能會(huì)將網(wǎng)站地圖作為一種補(bǔ)救措施，蜘蛛非常喜歡網(wǎng)站地圖。

　　為什么要講網(wǎng)站地圖呢，把蜘蛛比作是一個(gè)人，當(dāng)你到一個(gè)陌生的城市時(shí)，第一個(gè)想到的應(yīng)該是去買(mǎi)一張這個(gè)城市的地圖，不然很容易迷路的。同樣的道理蜘蛛爬行你的網(wǎng)站時(shí)要是有一張地圖引導(dǎo)他，他就不會(huì)迷路，而且要是你的地圖結(jié)構(gòu)合理且連續(xù)性強(qiáng)的話，蜘蛛就會(huì)長(zhǎng)時(shí)間停留在你的網(wǎng)站上。做一個(gè)很形象的比喻，我們?cè)谫I(mǎi)到一張地圖時(shí)，如果他上面的路標(biāo)、地名標(biāo)示的不是很明顯，或者說(shuō)是很清晰，我們上哪去找我們要到達(dá)的地方呢。還有就是你的地圖很混亂，道路與道路之間沒(méi)有一定的延續(xù)性也會(huì)導(dǎo)致迷路的。所以我們的網(wǎng)站地圖優(yōu)化需要我們?cè)谧稣緝?nèi)鏈接的時(shí)候要有一定的合理延續(xù)性，當(dāng)你從一個(gè)頁(yè)面鏈接到另一個(gè)頁(yè)面是一定要有一定的相關(guān)性，不然很容易引起蜘蛛的反感的，網(wǎng)站的URL地址就跟地圖的路標(biāo)一樣一定要標(biāo)明的很明確，不要用一些不懂得或者跟頁(yè)面不相關(guān)的字母。不然蜘蛛在爬取你的網(wǎng)站時(shí)很難讀懂你網(wǎng)站網(wǎng)頁(yè)的具體內(nèi)容的。

　　404頁(yè)面

　　404是W3C規(guī)定的HTTP狀態(tài)碼中的一種。是WWW網(wǎng)站訪問(wèn)比較經(jīng)常出現(xiàn)的錯(cuò)誤。告訴瀏覽者其所請(qǐng)求的頁(yè)面不存在或鏈接錯(cuò)誤，同時(shí)引導(dǎo)用戶使用網(wǎng)站其他頁(yè)面而不是關(guān)閉窗口離開(kāi)，這種專業(yè)的官方解釋。通俗點(diǎn)將404頁(yè)面就是一個(gè)網(wǎng)站內(nèi)的報(bào)錯(cuò)頁(yè)面，當(dāng)我們輸入你的網(wǎng)站網(wǎng)址出現(xiàn)錯(cuò)誤時(shí)，就會(huì)直接跳轉(zhuǎn)到404頁(yè)面，404頁(yè)面會(huì)引導(dǎo)用戶返回到網(wǎng)站的首頁(yè)或者其他用戶比較關(guān)注的頁(yè)面。這就需要我們?cè)谥谱?04頁(yè)面時(shí)要給用戶或者蜘蛛做一個(gè)很好的引導(dǎo)作用，引導(dǎo)用戶回到你網(wǎng)站的首頁(yè)或者其他頁(yè)面，要是你的404頁(yè)面什么都沒(méi)有的話，蜘蛛或者用戶訪問(wèn)到你這個(gè)頁(yè)面找不到任何的信息就會(huì)直接關(guān)閉，這樣的用戶體驗(yàn)是很不好的。我們可以從下圖的一個(gè)404頁(yè)面看出來(lái)，這個(gè)網(wǎng)站的404頁(yè)面有一個(gè)返回首頁(yè)跟免費(fèi)咨詢這兩個(gè)返回鏈接，這樣的404頁(yè)面優(yōu)化就已經(jīng)算是不錯(cuò)的了，我們出錯(cuò)了可以回到首頁(yè)尋找我們想要找的信息。

　　Robots.txt

　　在搜索引擎訪問(wèn)網(wǎng)站的時(shí)候，Robots.txt是第一個(gè)要被查看的文件，Robots.txt會(huì)告訴網(wǎng)絡(luò)蜘蛛程序在服務(wù)器上什么文件是可以被查看的。在進(jìn)行SEO網(wǎng)站優(yōu)化的時(shí)候，通過(guò)Robots.txt把一些內(nèi)容不想讓蜘蛛抓取，比如js等后臺(tái)程序文件 進(jìn)行攔截，如果沒(méi)有Robots.txt，蜘蛛會(huì)抓取你網(wǎng)站上所有的文件，這樣的話你網(wǎng)站內(nèi)部一些蜘蛛不喜歡的文件也會(huì)被抓取到，這樣會(huì)讓蜘蛛對(duì)你的網(wǎng)站產(chǎn)生很?chē)?yán)重 的排斥心理，會(huì)大大降低網(wǎng)站的搜索引擎抓取效率!所以，我們一定要記得設(shè)置Robots.txt，不僅要設(shè)置，特別是一些JS跳轉(zhuǎn)的文件，一定不要讓那個(gè)蜘蛛抓取。一些網(wǎng)站是可以注冊(cè)的，我們也要把注冊(cè)信息屏蔽掉，你想你那么多的注冊(cè)信息讓蜘蛛抓取的話，一點(diǎn)實(shí)用的信息都沒(méi)有，這也是不利于網(wǎng)站的優(yōu)化的。包括網(wǎng)站內(nèi)部的登陸頁(yè)面、評(píng)論頁(yè)面之類的，因?yàn)檫@些頁(yè)面每個(gè)頁(yè)面都存在，這樣蜘蛛抓取的話會(huì)主導(dǎo)很多的重復(fù)頁(yè)面的，也是不利于網(wǎng)站的排名的。