对于随时换ip的爬虫，有啥办法么？

无道

@Ta 2021-03-14 6351点击

目前并没有想到好办法。主要好像不只是一个区域内的IP，各个地方的都有》。。

隐藏样式查看源码

回复列表(10|隐藏机器人聊天)

1

小杨

@Ta / 2021-03-14 / 样 / 源

看他的UA，如果一样可以从UA上入手
2

无道

@Ta / 2021-03-14 / 样 / 源

@小杨，感谢建议，我试试看
3

我是教官

@Ta / 2021-03-14 / 样 / 源

用老虎的短时间访问几次就拉黑的办法在加上判断ua或者程序加token啥的
4

胡椒舰长

@Ta / 2021-03-14 / 样 / 源

@小杨，UA？这些东西都是随便自定义的，现在这类东西没办法的，只有ip段拉黑，针对爬虫现在都用腾讯SCF，n个ip来回爬
5

果果开发

@Ta / 2021-03-15 / 样 / 源

让它爬！你什么内容，会让爬虫盯上你？
6

㝶芾厶眵攴䭡

@Ta / 2021-03-15 / 样 / 源

@无道可参考彩虹大佬的一种做法，大概意思是，针对这个IP的第一次访问强行验证（防水墙），验证过了之后给此IP一个cookie授权（含有效期），后续每次该IP访问都验证携带的cookie是否有效，无效的就拦截掉呗；不知道我说 @net909 的对不对哈
~~~
7

无道

@Ta / 2021-03-15 / 样 / 源

@㝶芾厶眵攴䭡，我这是前后端分离、搜索项目。
Cookie不太适用。我目前的办法是加验证码

输入验证码后，获取一个key，搜索时，这个key作为一个参数。

该key 5分钟有效，过期需继续输入验证码。

今天观察了下，已经没有了。昨天是一直在爬。

==============

PS：这个验证码不难，我都有办法识别破解，不过他那边肯定也要改不少代码，估计没做。

攻防就是这样，道高一尺魔高一丈，只能看谁有耐心，谁不怕麻烦
8

无期徒刑

@Ta / 2021-03-15 / 样 / 源
被禁言

用户被禁言，发言自动屏蔽。
9

艾木友尔尔巴

@Ta / 2021-03-15 / 样 / 源

用12306那种验证码。
小米8(白)
10

无道

@Ta / 2021-03-15 / 样 / 源

@无期徒刑，

@艾木友尔尔巴，这个就夸张了，哈哈哈

添加新回复

回复需要登录。