已掉线,重新登录

首页 > 绿虎论坛 > 历史版块 > 编程 > golang

标题: 对于随时换ip的爬虫,有啥办法么?

作者: @Ta

时间: 2021-03-14

点击: 6345

Snipaste_2021-03-14_18-54-32.png

Snipaste_2021-03-14_18-53-40.png




目前并没有想到好办法。主要好像不只是一个区域内的IP,各个地方的都有》。。

[隐藏样式|查看源码]


『回复列表(10|隐藏机器人聊天)』

1. 看他的UA,如果一样可以从UA上入手
(/@Ta/2021-03-14 18:59//)

2. @小杨,感谢建议,我试试看
(/@Ta/2021-03-14 19:01//)

3. 用老虎的短时间访问几次就拉黑的办法在加上判断ua或者程序加token啥的
(/@Ta/2021-03-14 21:45//)

4. @小杨,UA?这些东西都是随便自定义的,现在这类东西没办法的,只有ip段拉黑,针对爬虫现在都用腾讯SCF,n个ip来回爬
(/@Ta/2021-03-14 22:06//)

5. 让它爬!你什么内容,会让爬虫盯上你?
(/@Ta/2021-03-15 07:34//)

6.

@无道 可参考彩虹大佬的一种做法,大概意思是,针对这个IP的第一次访问强行验证(防水墙),验证过了之后给此IP一个cookie授权(含有效期),后续每次该IP访问都验证携带的cookie是否有效,无效的就拦截掉呗;不知道我说 @net909 的对不对哈
~~~

(/@Ta/2021-03-15 09:47//)

7. @㝶芾厶眵攴䭡,我这是前后端分离、搜索项目。
Cookie不太适用。我目前的办法是加验证码

image.png

输入验证码后,获取一个key,搜索时,这个key作为一个参数。

该key 5分钟有效,过期需继续输入验证码。

今天观察了下,已经没有了。昨天是一直在爬。

==============

PS:这个验证码不难,我都有办法识别破解,不过他那边肯定也要改不少代码,估计没做。

攻防就是这样,道高一尺魔高一丈,只能看谁有耐心,谁不怕麻烦
(/@Ta/2021-03-15 12:15//)

8.
用户被禁言,发言自动屏蔽。
(/@Ta/2021-03-15 12:19//
被禁言
)

9.

用12306那种验证码。
小米8(白)

(/@Ta/2021-03-15 15:17//)

10. @无期徒刑

@艾木友尔尔巴,这个就夸张了,哈哈哈
(/@Ta/2021-03-15 16:20//)

回复需要登录

8月22日 01:03 星期五

本站由hu60wap6驱动

备案号: 京ICP备18041936号-1