1. Robots.txt問題
使用 * 匹配字元序列
您可使用星號 (*) 來匹配字元序列。例如,要攔截對所有以"專用"開頭的子目錄的訪問,可使用下列條目:
User-Agent:Googlebot
Disallow:/專用*/
要攔截對所有包含問號 (?) 的網址的訪問,可使用下列條目:
User-agent:*
Disallow:/*?
Disallow:/ *? 一行將攔截包含 ? 的網址(具體而言,它將攔截所有以您的域名開頭、後接任意字元串,然後是問號 (?),而後又是任意字元串的網址)。
Allow: /*?$ 一行將允許包含任何以 ? 結尾的網址(具體而言,它將允許包含所有以您的域名開頭、後接任意字元串,然後是問號 (?),問號之後沒有任何字元的網址)。
所以:
Disallow: /relpage/
禁止收錄relpage目錄
Disallow: /relcontent
禁止收錄relcontent 目錄 以及所有以relcontent結尾的網頁,例如relcontent.html,relcontent.asp?id=12等等