想防采集利用javascript做点手脚还有点作用。
小米5黑色高配版
然而增加REFERER验证基本不能阻止任何事情,现在还有采集程序会忘了添加REFERER头这件事情吗
REFERER只能防止盗链,这里的盗链是指对方在他的网站上直接使用你的资源。因为正常的浏览器不会撒谎,它会在REFERER里包含真正的来源站点URL。然而采集程序就完全不是这样了。
如果真的想要让采集者恶心,倒是有一个方法,就是限速。具体来说就是,如果对方的访问速度过快(比如每秒超过多少次),就给一个惩罚性的时间段让对方无法访问(比如30秒)。
页面用js输出,然后把js加密一下,防一般的完全够了,只不过对搜索引擎也不太友好
对ip设定一定时间需要重新输入的验证码
荣耀9(奶奶灰)
没用,之前通过PhantomJS+Sellenium做过爬虫只要你的网站可以访问都可以爬。只有加验证码和限制ip会有一些作用
不能,这种小伎俩根本没用。
小米5黑色高配版