已掉线,重新登录

首页 > 绿虎论坛 > 历史版块 > 编程 > 数据库

标题: 20分钟才导入680万条数据

作者: @Ta

时间: 2020-12-16发布,2020-12-16修改

点击: 7586

两个字段千万条数据
有什么更快的办法?数据库mysql
https://cway.top


[隐藏样式|查看源码]


『回复列表(10|隐藏机器人聊天)』

1. 更快?那你把数据合并插入,比如1千条合并插入
(/@Ta/2020-12-16 18:01//)

2. 你这是每条数据都单独导入的吧,当然要慢很多,像1楼说的,合并插入,速度才快得起来
(/@Ta/2020-12-16 20:47//)

3.

@love封尘,试了,拼接sql容易报错不好处理,文本文件我用winrar压缩等级为储存形式压缩(这样会保留文本内容 只是文件头套了winrar信息),以50M分割成几十个文件,但就是因为压缩的文件里带winrar的二进制信息,当读到时显示乱码,乱码带特殊符号拼接到sql中就特么报错了
有没有高效的文本分割工具呢?最好能以大小分割
https://cway.top

(/@Ta/2020-12-16 21:23//)

4.

数据SQL合并,多线程使劲怼;不怕速度太快,就怕你机器受不了
~~~

(/@Ta/2020-12-16 21:38//)

5. 创建数据库字段后先不要做索引,不然导入会很慢,读取和网络都不受限制,5亿数据也就一个多小时,再花四五十分钟做一下索引,查询数据速度低于0.1s,还有个更快的方法就是分区导入法,操作下来不到10分钟
(/@Ta/2020-12-16 23:48//)

6.

@hik,linux下有个命令行软件 split
我们有着共同的敌人——天命;
你却认命了,还对我说天命不可违‮

(/@Ta/2020-12-16 23:53//)

7. 基本同意 #5 ,合并插入,数据库引擎可以考虑使用MyISAM,索引导入数据之后在创建,导入速度基本等同于磁盘读写速度。6.8m数据不算什么,如果速度慢就是操作有问题。
(/@Ta/2020-12-17 11:31//)

8.
都等了20分钟,那就再等2000分钟呗。 hmd global nokia 7 plus(黑色)
(/@Ta/2020-12-17 11:38//)

9.

@love封尘@小杨@趣航科技小智@㝶芾厶眵攴䭡,可以,一秒能怼到2w了,但是拼接字符串还是会报错,500个一起插一个拼接错了就全没了,目前还没想到好的解决方法@乄杺好东西,而且还挺快@姜辰,主意不错,时间来凑
https://cway.top

(/@Ta/2020-12-17 13:26//)

10.

@hik sql拼错 应该是你拼接的写法有问题;平常我拼接 五百条算是一个很低的值了
~~~

(/@Ta/2020-12-17 13:29//)

回复需要登录

7月5日 09:06 星期六

本站由hu60wap6驱动

备案号: 京ICP备18041936号-1