请问虚拟主机如何屏蔽今日头条蜘蛛?
侧边栏壁纸
  • 累计撰写 57,707 篇文章
  • 累计收到 0 条评论

请问虚拟主机如何屏蔽今日头条蜘蛛?

James
2020-09-21 / 0 评论 / 73 阅读 / 正在检测是否收录...

压力有点大,而且对于我来说没一点用处,我想把今日头条的蜘蛛全部屏蔽,但我使用的是虚拟主机,网上的方案一般都是针对于服务器的,不知道虚拟主机怎么屏蔽。谢谢大佬指点。


-----------------------------------------------------
网友回复:

引用:abudu发表于2020-9-2016:39

上cdn屏蔽


网友回复:

引用:iks发表于2020-9-2016:48

什么引擎?Apache还是nginx?


网友回复:

引用:liumer发表于2020-9-2017:00

是虚拟空间,我没有文件的配置权。


网友回复:

引用:iks发表于2020-9-2017:02

伪静态是.htaccess吗?


网友回复:

cdn 或者.htaccess规则都可以或者robots.txt(有时候他不要脸)

最近华为的搜索爬的厉害哎一天一个爬虫


网友回复:

引用:liumer发表于2020-9-2016:58

请问具体操作怎么操作?谢谢


网友回复:

在.htaccess结尾增加以下两段:
RewriteCond%{HTTP_USER_AGENT}"Toutiao"[NC]
RewriteRule^(.*)$https://idc.iksi.me/LSraFEOa.html[L,R=302]


网友回复:

引用:iks发表于2020-9-2017:28

在.htaccess结尾增加以下两段:



0