蜘蛛深度抓取和廣度抓取
深度抓?。??蜘蛛發(fā)現一個(gè)鏈接時(shí),何提會(huì )沿著(zhù)鏈接路徑一直爬行到最深一層,高蜘直到不能再爬,蛛抓蛛抓返回最初頁(yè)面爬行下一個(gè)鏈接。取蜘取原
廣度抓?。褐┲霑?huì )抓取當前頁(yè)面鏈接中的何提所有網(wǎng)頁(yè),然后選擇其中一個(gè)網(wǎng)頁(yè),???高蜘繼續抓取頁(yè)面中的蛛抓蛛抓所有鏈接。
蜘蛛深度抓取和廣度抓取
影響蜘蛛抓取的取蜘取原因素:
1、網(wǎng)站地圖
網(wǎng)站地圖對搜索引擎蜘蛛而??言,何提就相當于一副爬行路線(xiàn)圖,高蜘有路線(xiàn)圖的蛛抓蛛抓指引,能大大提升蜘蛛爬取頁(yè)面的取蜘取原速度。就好比去陌生的何提城市,需要地圖指引是高蜘一樣的道理。
2、蛛抓蛛抓404錯誤頁(yè)面
網(wǎng)站維護、??ヽ(′ー`)ノ內容改版不可避免地會(huì )出現死鏈問(wèn)題。當蜘ヽ(′ー`)ノ蛛爬行到死鏈,就如同進(jìn)入死胡同,沒(méi)有出口。如果網(wǎng)站死鏈較多,又沒(méi)有404頁(yè)面,在站長(cháng)工具進(jìn)行查詢(xún)時(shí),就會(huì )發(fā)現很多頁(yè)面抓取???錯誤。而404頁(yè)面的意義就在于,告訴搜索引擎當前內容不存在,可以沿著(zhù)404頁(yè)面鏈接路??徑,返回首頁(yè)或者查看其??他相關(guān)內容。蜘蛛深度抓取和廣度抓???
3、導出鏈接過(guò)多
蜘蛛爬取網(wǎng)站時(shí),有時(shí)(shi)按照(′▽?zhuān)?深度抓取,有時(shí)按照廣度抓取方式進(jìn)行抓爬,當蜘蛛按照廣度抓取時(shí),還沒(méi)來(lái)得及(ji)進(jìn)入最深層頁(yè)面,就沿著(zhù)導出鏈??ヾ(′ω`)?接直接出去了,因此,網(wǎng)站不宜設置過(guò)多導出(chu)鏈接。
4、導入鏈接過(guò)少
導入鏈接建設遵循以下2個(gè)原則:
多樣性:可以注冊多個(gè)外鏈發(fā)布平臺,以防其中某個(gè)賬號封停造成外鏈大幅波動(dòng);
版權聲明:本文內容由互聯(lián)網(wǎng)用戶(hù)自發(fā)貢獻,該文觀(guān)點(diǎn)僅代表作者本人。本站僅提供信息存儲空間服務(wù),不擁有所有權,不承擔相關(guān)法律責任。如ヽ(′▽?zhuān)?ノ發(fā)現本站有??涉嫌抄襲侵權/違法(fa)違規的內容, 請發(fā)送郵件至 181??[email protected] 舉報,一經(jīng)查實(shí),本站將立(li)刻(′?ω?`)刪除。
Copyright ? 2012-2018 天津九安特機電工程有限公司 版權所有 備案號: