問： discuz 論壇，不禁止百度蜘蛛爬行，服務(wù)器CPU就100%,%u8BF7教解決辦法？
不可能一直都禁止baiduspider抓取網(wǎng)站的??？,云服務(wù)器問題
問：抓取頻次我已經(jīng)調(diào)的很小很小了。
登錄斷開53214
答：您好， 查看現(xiàn)在服務(wù)器資源使用率較低，請異常時反饋工單我司協(xié)助您分析排查 ，
非常感謝您長期對我司的支持,謝謝！
問： web.config加下面的這個代碼，就沒問題了，刪除了就會cpu100
<rule name=\”Block spider\”>
<match url=\”(^robots.txt$)\” ignoreCase=\”false\” negate=\”true\” />
<conditions>
<add input=\”{HTTP_USER_AGENT}\” pattern=\”baiduspider\” ignoreCase=\”true\” />
</conditions>
<action type=\”CustomResponse\” statusCode=\”403\” statusReason=\”Forbidden\” statusDescription=\”Forbidden\” />
現(xiàn)在我是加了這代碼，所以cpu正常，刪除這代碼就有問題
問：www.iliema.com
答：您好，檢查了近期的網(wǎng)站訪問日志 ，已經(jīng)較少出現(xiàn)百度蜘蛛大量訪問的情況，建議可以刪除攔截代碼 ，
若日志再次出現(xiàn)大量頻繁訪問，可以再次添加此段代碼進(jìn)行攔截 ，
非常感謝您長期對我司的支持,謝謝！
問：
刪除了就會這樣，cpu100%%u3002怎么解釋？
問：
添加上就恢復(fù)正常。
問：
已經(jīng)限制了百度抓取
答：您好，暫時取消屏蔽百度蜘蛛代碼,我司觀察了一會,主要是來自于59.111段的蜘蛛ip訪問較多,當(dāng)前已經(jīng)通過您的服務(wù)器防火墻屏蔽了59.111段的ip,現(xiàn)在cpu狀態(tài)正常,修改前的文件保存在web.config-bak里,我司觀察了一會,現(xiàn)在cpu狀態(tài)正常,非常感謝您長期對我司的支持!
問：又會這樣，cpu100%%u3002怎么解釋？
答：您好，我們分析了一下日志，主要是http://www.semrush.com/bot.html 這個蜘蛛抓取較為頻繁，目前服務(wù)器cpu已經(jīng)正常了，目前這種冷門的蜘蛛還是幫您進(jìn)行了屏蔽，規(guī)則在web.config中，請再觀察下，謝謝。
聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享網(wǎng)絡(luò)內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-62778877-8306；郵箱：fanjiao@west.cn。本站原創(chuàng)內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明出處：
西部數(shù)碼知識庫 »
discuz 論壇，不禁止百度蜘蛛爬行，服務(wù)器CPU就10
