最近发现 网站访问量未有爆发性增长 服务器内存跟cpu使用率一直满负荷状态100%运行
仔细查看了日志 发现是各种爬虫在爬取我的网站(证明我的内容好 哈哈 )
先是设置了robots.txt 禁止那些爬虫访问跟访问时间(友好君子协议) 结果发现并不理想 都是流氓爬虫
说正题:
使用方法 :宝塔为例子
# 阻止特定的 User-Agent
if ($http_user_agent ~* (ClaudeBot|SemrushBot|DotBot|YisouSpider|Scrapy|Python|MJ12bot|AhrefsBot)) {
return 403;
}
按图加上重启配置即可 问题解决 希望能帮助到朋友们