Sådan importeres stor XML-fil (~10GB) til PostgreSQL

1. Konverter XML-fil til CSV-fil. Også, når du konverterer, opdel den til 100 Mb-1 Gb dele for lettere batching.

2. Opret tabellen med kolonner, du har defineret i CSV-filen.

3. Upload filen/filerne til Postgres med COPY kommando.Det er den hurtigste måde at uploade en stor mængde data, jeg kender. BTW, det kunne også gøres fra Java med CopyManager klasse.

Afhængigt af den slags forespørgsler, du vil udføre, vil du gerne oprette indekser:

1. Det vil være den mest tidskrævende del. Du må dog bruge OPRET INDEKS SAMMENLIGTNING . Det giver dig mulighed for at arbejde med din tabel, mens indekset oprettes i baggrunden.

2. Hvis du gentager importprocessen og allerede har oprettet tabellen og indekserne, skal du droppe indekserne, før du udsteder COPY-kommandoen og genskabe dem senere. Det vil spare dig for meget tid.

3. Hvis du stadig er utilfreds med hastigheden på dine forespørgsler eller hastigheden på oprettelse af indekser, vil det måske være en god idé at bruge Clickhouse i stedet. Det afhænger dog af, hvilken slags forespørgsler du udfører.