sql >> Database teknologi >  >> RDS >> Mysql

Fremskynd indsættelse af store datasæt fra txt-fil til mySQL ved hjælp af python

To muligheder at overveje:

1) det nemmeste er at inkludere flere rækker af værdier på et indsæt. Dette er langt, meget hurtigere end at lave flere indlæg.

I stedet for at gøre INSERT INTO tbl ( cols ) VALUES ( vals ) , gør noget som INSERT INTO tbl ( cols ) VALUES ( vals ), ( vals ), ( vals )

Mængden af ​​rækker, du kan indsætte på én gang, afhænger af den maksimale pakkestørrelse på mysql-serveren, men du kan sikkert lave 100, 1000, måske 10.000 rækker sikkert, og det burde give dig en ydelsesforøgelse af en størrelsesorden eller mere.

Se http://dev.mysql.com/doc/ refman/5.5/da/insert-speed.html

2) INDLÆS DATAINFIL er lidt anderledes, kræver mere arbejde og har sine egne krav, men er meget meget hurtig.



  1. KitchenPC og Ironpython

  2. MySQL:Slet rækker, der indeholder en bestemt parameter og er ældre end en dag

  3. MySQL-forespørgsel smertefuldt langsom på store data

  4. MAKEDATE() Eksempler – MySQL