sql >> Database teknologi >  >> NoSQL >> Redis

Spark Structured Streaming dynamisk opslag med Redis

En mulighed er ikke at bruge spark-redis, men hellere opslag i Redis direkte. Dette kan opnås med df.mapPartitions fungere. Du kan finde nogle eksempler på Spark DStreams her https://blog.codecentric.de/en/2017/07/lookup-additional-data-in-spark-streaming/. Idéen til Structural Streaming er den samme. Vær omhyggelig med at håndtere Redis-forbindelsen korrekt.



  1. Er der nogen måde at gendanne nyligt slettede dokumenter i MongoDB?

  2. Er redis et holdbart datalager?

  3. fortsæt i cursor.forEach()

  4. delayed_jobs vs resque vs beanstalkd?