網(wǎng)站robots應該怎么寫(xiě)？ DATE: 2026-05-05 04:53:47
一般來(lái)說(shuō)，網(wǎng)站網(wǎng)站或多或少都存??在一些對排名沒(méi)意義甚至有害的應該頁(yè)面。對于站長(cháng)來(lái)說(shuō)是網(wǎng)站不希望被搜索引擎檢索的。而robots.txt文件則承擔了
站長(cháng)這個(gè)意愿的應該表達功能。當蜘蛛訪(fǎng)問(wèn)網(wǎng)站會(huì )(hui)優(yōu)先抓取robots.txt，網(wǎng)站遵循站長(cháng)配置的應該規則不再抓取不利于SEO的內容。robots.txt文件位置
robots文件往往(╯°□°）╯放置于根目錄下
robots.txt文件格式(°ロ°) !
Disallow:該項的網(wǎng)站值用于描述不希望被訪(fǎng)問(wèn)的一組URL
Allow:該項的值用(′ω｀)于描述希望被訪(fǎng)問(wèn)的一組URL
User-agent:該項的值用于描述搜索引擎robot的名字
例如：
User-Agent:YisouSpider // 配置YisouSpider
Disallow: / // 不允許YisouSpヾ(′?｀)?ider抓取網(wǎng)站任何內容
User-Agent:* // 配置所有搜索引擎
Allow: / // 允許抓取網(wǎng)站任何內容
更多
注意：有些地方注釋為“禁止抓取abc目錄及子目錄中的內容”百度官方有舉例，"Disallow:/help"禁止robot訪(fǎng)問(wèn)/help.html、應該/helpabc.html、網(wǎng)站/help/index.html
Disallow: /abc/ //禁止( ?ω?)抓取含abc目錄的應該所有頁(yè)面
百度官方有舉例，"Disallow:/help/"則允許robot訪(fǎng)問(wèn)/help.h( ?ヮ?)tml、網(wǎng)站/helpabc.html，應該不能訪(fǎng)問(wèn)/help/index.html。網(wǎng)站
robots.txt通配符的應該使用
"*" 匹配0或多個(gè)任意字符
"$" 匹配行結束符。
舉(′_｀)例：
Disallow: /*?網(wǎng)站* //禁止抓取網(wǎng)站中所有的動(dòng)態(tài)頁(yè)面
Disallow: /*.htm$ // 禁止抓取所有以.htm為后綴的URL頁(yè)面 /abc.htm/index 不匹配
更多robots.txt，可以參照百度站長(cháng)站長(cháng)平臺關(guān)于robots.txt
網(wǎng)站哪些內容不建議被抓取
對于這個(gè)思想這個(gè)小白也懂的不多，一般取決于內容是否利于S??EO的原則。例如，我博客的搜索結果頁(yè)，沒(méi)做好優(yōu)化的tags頁(yè)都禁止抓取了。而對于企業(yè)站來(lái)說(shuō)，如果不打算可以?xún)?yōu)化公司名稱(chēng)的關(guān)鍵詞，關(guān)于、聯(lián)系、企業(yè)新聞等一些內容都可以考慮禁止
還有一點(diǎn)值??得注意(//ω//)的事??，有很多站長(cháng)??反饋說(shuō)百度不遵循robots.txt協(xié)議，抓取不該抓取的內容。思享也感??覺(jué)不是很靠譜，所以也可以考慮在一些頁(yè)面設置m??eta name="robots"
百度的解釋理解起來(lái)或許有所偏差，如果有不對，大家可以指正、交流
轉載請注明：思享SE(?Д?)O博客 ? 網(wǎng)站roboヾ(?■_■)ノts應該怎么寫(xiě)？