在robots。txt里面写了不允许他爬，还在爬，都要把网站爬挂了。。。。。
怎么才能挡住他呢？？
-----------------------------------------------------
**网友回复**:
引用:loukky发表于2020-8-1015:33
你的站是有多少内容........能给你爬挂
网友回复:
引用:wltc2005发表于2020-8-1016:10
我早年都直接封ip段
网友回复:
直接封UA超简单。
NGINX一句话
if($http_user_agent~*(semrush)|curl)
{
return404;
}
IIS可以利用url重写封UA，也是1分钟设置的事（百度例子很多）
封境外不划算，不能保证100%没境外或搞错IP段吧
网友回复:
引用:squalll发表于2020-8-1016:24
直接封UA超简单。
NGINX一句话
网友回复:
引用:G奶发表于2020-8-1015:53
搞了个蜘蛛池，没想到是这个效果，百度不来他来了。。。。。。。。。。
...