sql >> Database teknologi >  >> RDS >> Mysql

Opret Spark Dataframe fra SQL Query

Jeg fandt dette her Massedatamigrering gennem Spark SQL

Parameteren dbname kan være en hvilken som helst forespørgsel indpakket i parentes med et alias. Så i mit tilfælde skal jeg gøre dette:

val query = """
  (select dl.DialogLineID, dlwim.Sequence, wi.WordRootID from Dialog as d
    join DialogLine as dl on dl.DialogID=d.DialogID
    join DialogLineWordInstanceMatch as dlwim on dlwim.DialogLineID=dl.DialogLineID
    join WordInstance as wi on wi.WordInstanceID=dlwim.WordInstanceID
    join WordRoot as wr on wr.WordRootID=wi.WordRootID
    where d.InSite=1 and dl.Active=1
    limit 100) foo
"""

val df = sqlContext.format("jdbc").
  option("url", "jdbc:mysql://localhost:3306/local_content").
  option("driver", "com.mysql.jdbc.Driver").
  option("useUnicode", "true").
  option("continueBatchOnError","true").
  option("useSSL", "false").
  option("user", "root").
  option("password", "").
  option("dbtable",query).
  load()

Som forventet var det meget ineffektivt at indlæse hver tabel som sin egen Dataframe og slutte sig til dem i Spark.



  1. SQL 'LIKE' syntaks

  2. mysqlworkbench giver versionsfejl ved eksport af database

  3. Indstil tegnsættet og samlingen af ​​en kolonne i MariaDB

  4. MySQL - hvor mange rækker kan jeg indsætte i en enkelt INSERT-sætning?