sql >> Database teknologi >  >> RDS >> Mysql

Hvordan overfører man mysql-tabel til hive?

  1. Først og fremmest download mysql-connector-java-5.0.8 og sæt jar til lib og bin-mappen i Sqoop

  2. Opret tabeldefinitionen i Hive med nøjagtige feltnavne og -typer som i mysql

    sqoop import --verbose --fields-terminated-by ',' --connect jdbc:mysql://localhost/test --table medarbejder --hive-import --warehouse-dir /user/hive/warehouse --fields -terminated-by ',' --split-by id --hive-table medarbejder

test - Databasenavn

medarbejder - tabelnavn (til stede i test)

/user/hive/warehouse - Directory i HDFS, hvor dataene skal importeres

--split-by id - id kan være den primære nøgle i tabellen 'medarbejder'

--hive-table medarbejder - medarbejdertabel, hvis definition er til stede i Hive

Sqoop-brugervejledning (En af de bedste guider til at lære Sqoop)



  1. Dårlig ydeevne, når trigram-lighed og fuldtekstsøgning blev kombineret med Q ind django ved hjælp af postgres

  2. kan ikke indlæse leverandørbiblioteket libmysql.dll eller libmysqld.dll

  3. Unikitetsvalidering i databasen, når validering har en betingelse

  4. Databasemodellering til internationale og flersprogede formål