用的是Linux宝塔面板。腾讯轻量云。屏蔽IP效果貌似也不好、。
23.89.251.250--[23/Aug/2020:00:07:12+0800]"HEAD/HTTP/1.1"2000"-""Mozilla/5.0(compatible;Googlebot/2.1;+http://www.google.com/bot.html)"
23.89.251.250--[23/Aug/2020:00:07:13+0800]"GET/space-username-12.htmlHTTP/1.1"2006746"-""Mozilla/5.0(compatible;MJ12bot/v1.4.8;http://mj12bot.com/)"
这两条有点搞不懂了。IP一样，爬虫不一样。
250.251-89-23.rdns.scalabledns.com反查IP结果
这些爬虫，爬的我34块钱的轻量云，不要不要的。cpu经常100%
-----------------------------------------------------
网友回复:
这人搞爬虫连最基本的UA伪装都不会，确认新手无疑
网友回复:
针对性的返回利于自己SEO的数据
爬虫不随机ua，不用代理ip，只能说是个新手……
网友回复:
限流啊，从时间频率来控制他。
屏蔽IP不好是因为别人上了代理池吧，
按照正常人的习惯访问一个页面至少也得停留30S以上吧，你就按照这个来做限流
网友回复:
引用:16qf发表于2020-8-2222:03
屏蔽UA不行吗
网友回复:
引用:aaq发表于2020-8-2222:04
屏蔽UA，他的请求还是可以到服务器是吧？
网友回复:
引用:cnly1987发表于2020-8-2222:02
限流啊，从时间频率来控制他。
屏蔽IP不好是因为别人上了代理池吧，
按照正常人的习惯访问一个页面至少也...
网友回复:
这能不能用智能解析来解决，因为大部分是国外的机器在扫，把国外访问套cf。
网友回复:
引用:夕日发表于2020-8-2300:32
这人搞爬虫连最基本的UA伪装都不会，确认新手无疑
网友回复:
引用:coldwinds发表于2020-8-2305:07
这种新手更可怕不会控制频率能刷死你
网友回复:
IP一、UA摸一样，年初国搞过我，1秒内N多次请求。
后面还会来北京IP的
建议屏蔽
网友回复:
引用:chxin发表于2020-8-2310:12
宝塔上个nginx防火墙呗
网友回复:
引用:aaq发表于2020-8-2308:23
好早啊。
23.89.251.250--[23/Aug/2020:00:07:12+0800]"HEAD/HTTP/1.1"2000"-""Mozilla/5.0(...
网友回复:
引用:forever8938发表于2020-8-2315:59
多次404就封IP，来一个封一个
网友回复:
想起来我的dns服务器被人刷了几万个请求，不知道在干什么一个pizzaseo使劲搞我..搞的我服务器负载有点高每天全球各地的服务器向我的dns服务器发送请求查询pizzaseo.xx无语=-=