首先，蜘蛛抓取內(nèi)容爬行是自上而下，所以我們通常把網(wǎng)站內(nèi)重要參數(shù)的URL放置在頁面上方，而網(wǎng)站地圖數(shù)據(jù)放置在下方，這樣更易讓蜘蛛抓取網(wǎng)站重點，突出體現(xiàn)網(wǎng)站的主要內(nèi)容，而不會浪費蜘蛛抓取內(nèi)容的機會。   
  其次，經(jīng)常規(guī)律性的更新網(wǎng)站地圖對于蜘蛛的抓取識別效果有很好的提升。同時網(wǎng)站地圖應(yīng)使用標準W3格式地圖，同時應(yīng)采用分頁的形式體現(xiàn)，并使網(wǎng)站地圖保持整潔性與統(tǒng)一性，不要出現(xiàn)無必要的重復(fù)性銜接，這樣才能使網(wǎng)站地圖Sitemap的效果最大化體現(xiàn)。   
  另外，網(wǎng)站中一些頁面常會出現(xiàn)某些特殊符號參雜在網(wǎng)站地圖URL中，網(wǎng)站地圖并不能對特殊符號充分識別，所以一些內(nèi)頁面并不是主要體現(xiàn)內(nèi)容時，應(yīng)刪除掉這些URL內(nèi)容，使蜘蛛抓取內(nèi)容更集中于網(wǎng)站主要內(nèi)容。