??Robots文件是當搜索引擎在抓取和訪問網站的時候所第一個訪問的文件。我們在這個文件上可以設置搜索引擎。設置哪些頁面可以被搜索引擎抓取,還有哪些頁面不被搜索引擎抓取。
??如果是個人網站,涉及到個人隱私的部分可以設置成不被搜索引擎所抓取。這樣的話就不會在網站中搜索和檢查到。如果是一般性的商業網站,我們會設置成所有的頁面都會被抓取。??網站的頁面通常情況下會分為靜態頁面和動態頁面。對于搜索引擎,它更傾向于抓取靜態頁面。然而,我們現在的網站中大部分的頁面都是動態的,所以我們為了讓搜索引擎更好地抓取網站頁面,我們可以將頁面設置成偽靜態。??最簡單的一個方法就是讓頁面的鏈接以.html結尾。當然了,我只說了其中的一種,還是有很多偽靜態的設置方法,大家可以自行挖掘。這樣做的目的就是讓我們網站更容易被搜索引擎抓取。??設置網站地圖的作用就是讓用戶和搜索引擎能夠更直觀、更清晰地找到我們網站中所相應的欄目、內容和分類。
??我不建議大家使用第三種程序員編寫工具,因為它涉及到網站的一些代碼,不是很專業的人可能不會一下子弄明白的,而前兩種工具是我們在后臺就可以直接進行生成和設置的。