網絡爬蟲有兩種，壹種是善意爬蟲，比如百度、谷歌等搜索引擎的爬蟲，另壹種是惡意爬蟲，可能利用網站漏洞非法竊取網站數據，或者抓取網站內容，占用服務器資源。惡意爬蟲的行為讓我們深感痛苦，壹定要想盡辦法過濾屏蔽。當網站或某些網頁不希望被百度、Googl等善意的爬蟲抓取時，我們也希望采取壹些措施。
如何防止網站被抓取？
對於善意的蜘蛛，幾乎所有的搜索引擎蜘蛛都會遵守robots協議。只要我們在網站的根目錄下存儲壹個ASCII編碼的文本文件，告訴搜索引擎哪些頁面不能抓取，搜索引擎的蜘蛛就會遵循協議，不抓取指定頁面的內容。
但機器人不是規範，而是君子協定，只對善意的爬蟲有效，無法阻止惡意的爬蟲。
對於惡意爬蟲，我們可以采取以下措施進行識別和攔截。