2014-01-20
關鍵詞： 
3507
很多人反映說網站一些頁面已經被刪除了，源文件中不存在 ，可是百度快照里面卻一直顯示存在，打開頁面肯定是打不開了，很多人為此很是頭疼！
1、蜘蛛是怎么發現我們網站的鏈接的
我們都知道，蜘蛛是沿著鏈接爬來爬去的，他會自動提取網站中所有的鏈接，保存入庫，然后進行爬取，這也就是為什么我們覺得網站的收錄少了或者剛發布的文章沒有被收錄，我們就會說“引蜘蛛”了，其實引蜘蛛就是發外鏈了，當這條鏈接唄蜘蛛發現之后，他就會進行爬取，然后通過一系列復雜的算法之后，決定是否放出該頁面的收錄。
2、為什么會爬到不存在的頁面
一般情況下，有這么幾個問題
a、被對手惡意刷外鏈，也就是說競爭對手惡意的給你發了很多的不存在的頁面鏈接，當蜘蛛發現之后就會來爬取
b、以前做的外鏈，后來由于網站改版而某些鏈接沒有及時的去除，蜘蛛定期回訪的時候爬取了這條鏈接
c、此種僅限老域名，之前的網站結構和我們現在的網站結構不一致，也類似于b中的說法
d、robots文件沒有對蜘蛛進行限制
e、程序的原因，導致搜索引擎蜘蛛掉入黑洞
f、url提交或者ping給百度地址有誤
蜘蛛爬取不存在的頁面，一般情況下都是由于這些問題導致的，其中最主要的原因就是外鏈部分，所以我們要經常性的去檢查下我們網站的外鏈情況。
下面提供解決辦法：
這些方面綜合來講，一般我們只需要這么做，基本就能夠減少這種情況的發生，如果是鏈接導致的，那么就去百度站長平臺使用外鏈拒絕工具拒絕掉，并提交網站的死鏈接，同時使用robots屏蔽蜘蛛抓取這些內容；如果是程序問題，就修復程序
電話咨詢
業務咨詢
TOP