Sqoop på Dataproc kan ikke eksportere data til Avro-format

Problemet kan være i forskellige Avro-versioner i Dataprocs Hadoop (Avro 1.7.7) og Sqoop 1.4.7 (Avro 1.8.1).

Du vil måske prøve at nedgradere Sqoop til 1.4.6, der afhænger af Avro 1.7 og bruge avro-tools-1.7.7.jar under jobaflevering.

Redigeret:

For at løse klasseindlæsningsproblemet skal du indstille mapreduce.job.classloader=true ved indsendelse af Dataproc-job:

gcloud dataproc jobs submit hadoop --cluster=<CLUSTER_NAME> \
    --class=org.apache.sqoop.Sqoop \
    --jars=gs://<BUCKET>/sqoop-1.4.7-hadoop260.jar \
    --properties=mapreduce.job.classloader=true \
    -- \
    . . .