sql >> Database teknologi >  >> NoSQL >> MongoDB

MongoDB Spark Connector py4j.protocol.Py4JJavaError:Der opstod en fejl under opkald til o50.load

Jeg fandt ud af svaret på mit spørgsmål. Dette var et kompatibilitetsproblem med Mongo-Spark-stikket og den version af Spark, som jeg opgraderede til. Specifikt blev findTightestCommonTypeOfTwo-værdien omdøbt i PR:

https://github.com/apache/spark/pull/16786/files

For Spark 2.2.0 er det kompatible Mongo-Spark-stik også 2.2.0, så i mit eksempel ville pakken blive indlæst sådan:

--packages org.mongodb.spark:mongo-spark-connector_2.11:2.2.0\

Dette kan ændre sig i fremtiden, så når du bruger stikket, bør du tjekke for kompatibilitet med den version af Spark, der bruges.




  1. lagring af op-/nedstemmer i mongodb

  2. Søg og erstat i Mongodb?

  3. Mongoose - Effektiv opdatering på en indekseret række af mongoose.Schema.Types.Mixed

  4. Spring Data Redis Expire Key