Læs denne serie af indlæg fra Wepay, hvor de beskriver, hvordan de synkroniserer deres MySQL-databaser til BigQuery ved hjælp af Airflow:
- https://wecode.wepay.com/posts/ wepays-data-warehouse-bigquery-airflow
- https://wecode.wepay.com/posts/airflow-wepay
- (tredje handler om BigQuery)
Som et resumé (citat):
- Opsætning af godkendelse, forbindelser, DAG.
- Definer, hvilke kolonner der skal hentes fra MySQL og indlæses i BigQuery.
- Vælg, hvordan dataene skal indlæses:trinvist eller fuldstændigt.
- De-duplikering.