robots.txt怎么寫，網(wǎng)站如何正確的使用robots.txt

閱讀量： 5 發(fā)布日期： 2022-11-03 09:24:35

1、robots是什么意思

Robots，全稱是網(wǎng)絡(luò)爬蟲（Web Crawler），是一種按照一定的規(guī)則，自動(dòng)地抓取萬維網(wǎng)信息的程序或者腳本。另外一種說法是，網(wǎng)絡(luò)機(jī)器人（Web Robot）。網(wǎng)絡(luò)爬蟲通常指自動(dòng)抓取網(wǎng)頁的程序或者腳本。網(wǎng)絡(luò)爬蟲也叫網(wǎng)頁蜘蛛、小爬蟲；網(wǎng)頁機(jī)器人也稱為大爬蟲。網(wǎng)絡(luò)爬蟲一般遵循網(wǎng)頁的鏈接來自動(dòng)地抓取網(wǎng)頁內(nèi)容，所以也叫做自動(dòng)化瀏覽器、自動(dòng)化腳本。網(wǎng)絡(luò)爬蟲通常由兩部分組成：1、爬蟲引擎：負(fù)責(zé)管理網(wǎng)絡(luò)爬蟲的任務(wù)；2、爬蟲：負(fù)責(zé)實(shí)際的網(wǎng)絡(luò)爬取工作。

2、robots.txt怎么寫

網(wǎng)站的robots.txt文件是一個(gè)包含網(wǎng)站上可供搜索引擎爬蟲抓取的頁面列表的文件。它通常位于網(wǎng)站根目錄下，并以“robots.txt”命名。要想讓搜索引擎爬蟲正確的抓取網(wǎng)站上的內(nèi)容，網(wǎng)站的robots.txt文件必須符合一定的格式規(guī)范。格式規(guī)范包括：1. 文件必須以“User-agent”開頭，后面跟上搜索引擎爬蟲的名稱。2. 在“User-agent”后面可以跟上一個(gè)或多個(gè)“Disallow”，用來告訴搜索引擎爬蟲不能抓取的頁面。3. 在“Disallow”后面跟上一個(gè)或多個(gè)要禁止抓取的頁面的路徑。例如：

User-agent: *

Disallow: /api/

Disallow: /admin/

Disallow: /install/

Disallow: /page/

Disallow: /search/

Disallow: /system/

Sitemap: http://localhost/sitemap.xml

3：網(wǎng)站如何正確的使用robots

網(wǎng)站如何正確的使用robots？Robots.txt 是一個(gè)網(wǎng)絡(luò)協(xié)議，它規(guī)定了搜索引擎蜘蛛如何訪問網(wǎng)站的內(nèi)容。網(wǎng)站設(shè)置 robots.txt 文件的目的是告訴搜索引擎蜘蛛哪些目錄下的頁面可以被索引，哪些目錄下的頁面不能被索引。一般情況下，robots.txt 文件會(huì)包含兩個(gè)部分：User-agent：指明蜘蛛類型，對應(yīng)的是搜索引擎蜘蛛的名字。Disallow：指明蜘蛛不能訪問的目錄或頁面。

作者: bosscms，轉(zhuǎn)載時(shí)必須經(jīng)得同意并以鏈接形式注明作者和原始出處及本聲明。

robots