mjj看下这是啥爬虫蜘蛛，新站第一天撒了上万

iuko · 发表于 2021-3-30 13:25:28

哪位mjj看下这是啥爬虫，河南跟北京这个第一天上线直接爬，用不用屏蔽

cheshirex · 发表于 2021-3-30 16:05:14

可以用nslookup反查

战神赵日天 · 发表于 2021-3-30 15:53:37

本帖最后由战神赵日天于 2021-3-30 15:54 编辑

没有的发表于 2021-3-30 15:43
你的挂机ip具体是怎么操作呢？

打错字了，用的流量宝，之前挂了几百点，然后每天设置用几点刷网站ip，刷多了以后，收录就上来了
不算科学验证，至少是我的一种玄学做法
一般流量宝是1点1000ip，可以分时间分地点以及访问时常，ip基本都不同，1000ip估计也就几个是重复的

没有的 · 发表于 2021-3-30 15:43:22

战神赵日天发表于 2021-3-30 13:56
你如果放了百度统计，不建议封爬虫
为啥，会增加百度以及其他搜索引擎收录
我以前几个站，一年有几个站，每 ...

你的挂机ip具体是怎么操作呢？

iuko · 发表于 2021-3-30 15:30:46

OXO 发表于 2021-3-30 14:48
如果是国内那几个蜘蛛都有 user-agent 的，看 IP 没啥用

Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.119 Safari/537.36

没有蜘蛛标识，但是访问直接访问的内页，都是爬内页

iuko · 发表于 2021-3-30 15:24:30

citywar 发表于 2021-3-30 14:41
会不会是你IP或域名以前就被人惦记的

新站第一天新域名

只看该作者 · 发表于 2021-3-30 14:48:29

提示: 作者被禁止或删除内容自动屏蔽

citywar · 发表于 2021-3-30 14:41:48

会不会是你IP或域名以前就被人惦记的

iuko · 发表于 2021-3-30 14:23:44

我是高富帅发表于 2021-3-30 13:56
先要判断一下真假蜘蛛。

如果是真蜘蛛不用屏蔽，假蜘蛛则建议屏蔽

肯定不是搜索爬虫，群里问了一个人说北京36是安全爬虫，然后问啥安全没回复

战神赵日天 · 发表于 2021-3-30 13:56:50

你如果放了百度统计，不建议封爬虫
为啥，会增加百度以及其他搜索引擎收录
我以前几个站，一年有几个站，每个站3000+ip
就是自己用的挂机ip每天大量访问，增加收录和权重

		自动登录	找回密码
密码			注册

[Windows VPS] mjj看下这是啥爬虫蜘蛛，新站第一天撒了上万