20分钟才导入680万条数据

hik
@Ta 2020-12-16发布,2020-12-16修改 6295点击

两个字段千万条数据
有什么更快的办法?数据库mysql
https://cway.top

回复列表(10)
  • @Ta / 2020-12-16 / /
    更快?那你把数据合并插入,比如1千条合并插入
  • @Ta / 2020-12-16 / /
    你这是每条数据都单独导入的吧,当然要慢很多,像1楼说的,合并插入,速度才快得起来
  • hik
    @Ta / 2020-12-16 / /

    @love封尘,试了,拼接sql容易报错不好处理,文本文件我用winrar压缩等级为储存形式压缩(这样会保留文本内容 只是文件头套了winrar信息),以50M分割成几十个文件,但就是因为压缩的文件里带winrar的二进制信息,当读到时显示乱码,乱码带特殊符号拼接到sql中就特么报错了
    有没有高效的文本分割工具呢?最好能以大小分割
    https://cway.top

  • @Ta / 2020-12-16 / /

    数据SQL合并,多线程使劲怼;不怕速度太快,就怕你机器受不了
    ~~~

  • @Ta / 2020-12-16 / /
    创建数据库字段后先不要做索引,不然导入会很慢,读取和网络都不受限制,5亿数据也就一个多小时,再花四五十分钟做一下索引,查询数据速度低于0.1s,还有个更快的方法就是分区导入法,操作下来不到10分钟
  • @Ta / 2020-12-16 / /

    @hik,linux下有个命令行软件 split
    我们有着共同的敌人——天命;
    你却认命了,还对我说天命不可违‮

  • @Ta / 2020-12-17 / /
    基本同意 #5 ,合并插入,数据库引擎可以考虑使用MyISAM,索引导入数据之后在创建,导入速度基本等同于磁盘读写速度。6.8m数据不算什么,如果速度慢就是操作有问题。
  • @Ta / 2020-12-17 / /
    都等了20分钟,那就再等2000分钟呗。 hmd global nokia 7 plus(黑色)
  • hik
    @Ta / 2020-12-17 / /

    @love封尘@小杨@趣航科技小智@莫_名,可以,一秒能怼到2w了,但是拼接字符串还是会报错,500个一起插一个拼接错了就全没了,目前还没想到好的解决方法@𪛞𪛟好东西,而且还挺快@姜辰,主意不错,时间来凑
    https://cway.top

  • @Ta / 2020-12-17 / /

    @hik sql拼错 应该是你拼接的写法有问题;平常我拼接 五百条算是一个很低的值了
    ~~~

添加新回复
回复需要登录