关于Python模拟登陆

@Ta 09-14 06:32发布,09-14 06:38修改 259点击

时代变了,现在的主流网站都是前端js获取token检验登陆,然后通过js动态渲染页面,一些动态的东西如javascript脚本执行后所产生的信息,是抓取不到的,传统的curl或requests不能处理动态数据,无法实现登录和获取页面内容,
Python有没有那种库,可以解析动态页面后获取页面内容进行采集和登陆

selenium的话,需要调用本地浏览器,服务器端没办法用
红米Note4高配版(银色)

回复列表(5)
  • @Ta / 09-14 08:15
    requests-html
  • 000
    @Ta / 09-14 08:48

    这个还算好 花样百出的验证码才是无解
  • @Ta / 09-14 09:39
    一直听你们说这个不好弄,我反而觉得前后端分离下,爬虫才更好弄。直接f12,network,抓取请求,就行了。

    因为这些普遍采用json,个人觉得比什么解析html,正则匹配更能简单的获取数据。

    当然,接口这些加密参数之类的,需要好好调试之类的,不在讨论范围。

    这些网站真要重视加密,管不管你是不是前后端分离,都肯定很难破解加密
  • @Ta / 09-14 10:25

    golang 有个 chromedp 无头模式贼好用
    ~~~

  • @Ta / 09-14 22:40

    dd
    红米Note4高配版(银色)

添加新回复
回复需要登录

[聊天-公共聊天室] TabKey9:哦哈哟欧尼酱