sql >> Database teknologi >  >> RDS >> Mysql

En måde at læse tabeldata fra Mysql til Pig

Som du siger, DBStorage understøtter kun lagring af resultater i en database.

For at indlæse data fra MySQL kan du se på et projekt kaldet sqoop (der kopierer data fra en database til HDFS), eller du kan udføre en mysql-dump og derefter kopiere filen til HDFS. Begge måder krævede noget interaktion og kan ikke bruges direkte inde fra Pig.

En tredje mulighed ville være at overveje at skrive en Pig LoadFunc (du siger, du har prøvet at skrive en UDF). Det burde ikke være for svært, du skal bestå stort set de samme muligheder som DBStorage (driver, forbindelsesoplysninger og en SQL-forespørgsel, der skal udføres), og du kan sikkert også bruge en eller anden inspektion af resultatsæt-metadata til automatisk at generere et skema.




  1. Sails kan ikke oprette forbindelse til mySql

  2. Hvad er et SPATIAL INDEX, og hvornår skal jeg bruge det?

  3. Er det muligt at gemme billeder, lyde, videoer i SQL-databasen?

  4. Sådan kaskadeser du ved at bruge JPA/EclipseLink