第一:孤島網(wǎng)頁是很難被搜索引擎抓取,孤島網(wǎng)頁指的是沒有任何反向鏈接的網(wǎng)頁,如果新站沒有任何被收錄的網(wǎng)站的鏈接指向新站,那么該新站實(shí)際上是互聯(lián)網(wǎng)的一個(gè)孤島,搜索引擎無從發(fā)現(xiàn)該網(wǎng)站的存在。
第二:該網(wǎng)站的服務(wù)器IP曾經(jīng)被懲罰
這是一個(gè)很重要的方面,這是因?yàn)槿绻揑P下的網(wǎng)站多次作弊,導(dǎo)致該服務(wù)器IP被懲罰,那么,百度很可能不再爬出爬蟲來爬行這個(gè)服務(wù)器IP,那么,建立在該服務(wù)器IP下的網(wǎng)站就再也沒有見天日的機(jī)會(huì)。
第三:服務(wù)器不穩(wěn)定,或者經(jīng)不起爬蟲采集的壓力
對(duì)于新站來說這是致命的,很容易導(dǎo)致蜘蛛放棄了該新站,不再進(jìn)行爬行收錄。
第四:網(wǎng)站中的網(wǎng)頁性質(zhì)及文件類型是搜索引擎無法識(shí)別的
很多人為了網(wǎng)站的美觀好看,采用了大量的如flash、JS跳轉(zhuǎn)、某些動(dòng)態(tài)網(wǎng)頁、frame等,這些東西導(dǎo)致搜索引擎無法識(shí)別,自然也不再收錄。
第五:網(wǎng)站用robots協(xié)議拒絕搜索引擎抓取
有時(shí)候因?yàn)檎鹃L的粗心,設(shè)置了錯(cuò)誤的robots協(xié)議,從而拒絕了搜索引擎的抓取。
第六:作弊和非法的網(wǎng)頁
使用關(guān)鍵詞作弊,網(wǎng)頁的關(guān)鍵詞和內(nèi)容嚴(yán)重不匹配,或者非法內(nèi)容的網(wǎng)頁;網(wǎng)頁的標(biāo)題沒有實(shí)際含義的網(wǎng)站等等,也是搜索引擎拒絕的對(duì)象。