vi har vores mongo DB, som gemmer JSON-data. Vi ønskede at migrere data til Redshift til nogle forespørgselsformål.
Vi brugte mongoexport csv til at oprette csv fra mongo table og uploadede det til S3. Vi oprettede tilsvarende relationsskema i Redshift og brugte kopikommandoer til at indlæse disse csv-data fra s3 til redshift.
Vi kan bruge java apis til at forespørge mongo og oprette og uploade csv til s3. Det samme kan indlæses til rødforskydning.
Det virkelige problem er, da vi bruger mongo (json) eller NoSQL, vi kan have forskellige antal kolonner for et givet objekt, som hører til samme tabel (som vi JSON), men i Redshift har vi et fast antal kolonner pr. tabel, så i sådanne tilfælde kan du skal oprette alle mulige kolonner og indlæse data. For de objekter, som ikke har alle kolonner, kan vi udfylde null-værdier for dem.