sql >> Database teknologi >  >> RDS >> Mysql

Brug af libpqxx til at gemme data i bulk ELLER hvordan man bruger COPY-sætning i libpqxx

pushLog funktion commiter hvert insert separat, og commit er langsom.

Som forklaret i dokumentationens Populering af en database :

Også:

I dit tilfælde ville det dog være et problem snarere end en fordel, fordi hver INSERT kan mislykkes ved overtrædelse af primærnøgle, og dermed annullere de tidligere INSERT'er siden sidste commit. Bemærk, at dette også ville være et problem med COPY , skal du bruge det.

Da det virkelig er nødvendigt at gruppere forespørgsler i transaktioner for ydeevne, er du nødt til at håndtere primærnøgleovertrædelser på en måde, der ikke afbryder transaktionen.

To metoder bruges typisk:

  1. Undgå fejlen:INSERT INTO... WHERE NOT EXISTS (SELECT 1 FROM table WHERE primary_key=...)

  2. Fang fejlen ved at indsætte en plpgsql-funktion, der har en UNDTAGELSE-blok, der ignorerer itr. De(n) specifikke INSERT(er), der forårsager en duplikat, vil blive annulleret, men transaktionen vil ikke blive afbrudt.

Hvis du har samtidige indsatser, skal disse metoder forfines med en låsestrategi.




  1. Eksekverer sæt SQL-forespørgsler ved hjælp af batch-fil?

  2. Spil 2.4 - Slick 3.0.0 - SLET virker ikke

  3. mysql ID automatisk stigning starter ikke fra 0

  4. Sådan tjekker du databasen på en ikke-rodfæstet Android-enhed