Python pandas ERROR 2006 (HY000): MySQL serve…

2018-06-18 00:43:55来源:未知 阅读 ()

新老客户大回馈,云服务器低至5折

之前在做python pandas大数据分析的时候,在将分析后的数据存入mysql的时候报ERROR 2006 (HY000): MySQL server has gone away

原因分析:在对百万数据进行分析的时候,由于分析逻辑有点复杂,导致消耗的时候有点多,触发了mysql connect_timeout机制,当分析结束后想把结果存入mysql的时候,连接早已经断开了。

解决方案:针对一些复杂的数据分析,将数据分片处理,并在每次执行mysql插入的时候判断连接是否断开(connection.ping(True)),若断开则重新建立连接。关于分片可以采用python dask进行并发计算

标签:

版权申明:本站文章部分自网络,如有侵权,请联系:west999com@outlook.com
特别注意:本站所有转载文章言论不代表本站观点,本站所提供的摄影照片,插画,设计作品,如需使用,请与原作者联系,版权归原作者所有

上一篇:mysql事务隔离级别

下一篇:mysql主主复制汇总整理