sql >> Database teknologi >  >> NoSQL >> MongoDB

Sender yderligere krukker til Spark via spark-submit

Problemet er, at CLASSPATH skal være kolonadskilt, mens JARS skal være kommasepareret:

$SPARK_HOME/bin/spark-submit \
--driver-class-path /usr/local/share/mongo-hadoop/build/libs/mongo-hadoop-1.5.0-SNAPSHOT.jar:/usr/local/share/mongo-hadoop/spark/build/libs/mongo-hadoop-spark-1.5.0-SNAPSHOT.jar \
--jars /usr/local/share/mongo-hadoop/build/libs/mongo-hadoop-1.5.0-SNAPSHOT.jar,/usr/local/share/mongo-hadoop/spark/build/libs/mongo-hadoop-spark-1.5.0-SNAPSHOT.jar my_application.py


  1. Skal jeg bruge muligheden allowDiskUse i et produktmiljø?

  2. Sådan optimeres ydeevnen af ​​ClusterControl og dens komponenter

  3. Mongo bulk finde og opdatere matchede dokumentfelt i en enkelt forespørgsel?

  4. hvordan kan man gemme en Json i redis med hashmap(HSET)