Hvordan indlæses 100 millioner poster i MongoDB med Scala til præstationstest?

Nogle tips :

1. Indeksér ikke din samling før indsættelse , som indsættelser ændre indekset, som er en overhead. Indsæt alt, og opret derefter indeks .

2. i stedet for "gem" skal du bruge mongoDB "batchinsert" som kan indsætte mange poster i 1 operation. Så har omkring 5000 dokumenter indsat pr. batch. Du vil se en bemærkelsesværdig præstationsforøgelse .

   se metode #2 for indsættelse her, det kræver en række dokumenter at indsætte i stedet for et enkelt dokument. Se også diskussionen i denne tråd

   Og hvis du vil benchmarke mere -

3. Dette er bare et gæt, prøv at bruge en samling med en foruddefineret stor størrelse at gemme alle dine data. Afgrænset samling uden indeks har meget god indsættelsesydelse.