異常狀態(tài)下，網站制作網頁應返回狀態(tài)碼。這點是相當重要，如果搜索引擎覺得該頁面不可訪問，一般網站關閉，帶寬有限等會產生這種情況。對于網頁返回503，搜索引擎不會把這條路徑刪除，短期內還會訪問。倘若頁面已恢復，則正常抓取，倘若繼續(xù)返回503還會反復訪問幾次，對于建站來說盡量避免這種情況。對于新上線的網站來講，這個原因導致的文章不被收錄。將網站路徑提交給搜索引擎后，文章內容沒有被收錄，但實際上搜索引擎還是會到網站抓取內容的，僅僅是在對新網站進行考核，索引的文章內容暫時不被放出。少則幾天，多則一個月。文章被收錄后又不見了是正常的，添加高質量的原創(chuàng)內容，適當進行外鏈爬取網站制作內容。

   拿到不收錄的路徑，才能夠從數(shù)據(jù)建庫抓取等通路上追查站點的問題。倘若選用動態(tài)靜態(tài)網頁混編的方法制作頁面，網站的路徑層級基本上可以表現(xiàn)結構。而為了安全的網站制作，大部分企業(yè)在制作網站時選用開源系統(tǒng)。有一個顯著特征，就是通過默認首頁傳值。表現(xiàn)在地址欄上就是問號后面一串字符，隨著參數(shù)的而變化頁面內容。但其實質上還是一個網頁，是利于客戶識別斷定的，此時也不利于搜索引擎收錄網站內容。而一般的做法就是通過路徑重定向網站頁面，或者直接生成靜態(tài)網頁。很多網站就是利用了偽靜態(tài)技術。不論選用什么樣的路徑生成技術，都一定要避免層級太深，盡量控制在三級以內。

   把一些重要的路徑網址盡量放在上面，比方欄目頁的路徑，頻道頁路徑，專欄頁路徑等，當然到底什么樣的路徑網頁重要，完全是由網站本身決定，每個人都知道，網絡爬蟲是上到下的規(guī)律的，把某個已刪除的頻道提交到網站地圖，并且還是放在前面，這個刪除的欄目下的頁面會被抓取。網站制作的時候，需要打造標準化路徑利于后期發(fā)展。