sql >> Database teknologi >  >> RDS >> PostgreSQL

Opret sql-tabel fra dask-dataframe ved hjælp af map_partitions og pdf.df.to_sql

Du har simpelthen oprettet en dataramme, som er en forskrift af det arbejde, der skal udføres, men du har ikke udført den. For at udføre, skal du kalde .compute() på resultatet.

Bemærk, at outputtet her ikke er en dataramme, hver partition evalueres til None (fordi to_sql har intet output), så det kan være renere at udtrykke dette med df.to_delayed , noget lignende

dto_sql = dask.delayed(pd.DataFrame.to_sql)
out = [dto_sql(d, 'table_name', db_url, if_exists='append', index=True)
       for d in ddf.to_delayed()]
dask.compute(*out)

Bemærk også, at om du får god parallelitet afhænger af databasedriveren og selve datasystemet.



  1. Overførsel af data mellem MySQL og Oracle-databaser

  2. Brug af Google Cloud SQL under udvikling af Java-appengine (i stedet for lokal MySQL-instans)

  3. MySQL Insert &Joins

  4. Installer pdo til postgres Ubuntu