sql >> Database teknologi >  >> NoSQL >> MongoDB

Distribueret officiel Mongodb Kafka kildeforbindelse med flere opgaver virker ikke

Det ser ud til, at dette er adfærden hos Official MongoDB Kafka Source Connector. Dette er svaret, jeg fik på et andet forum fra Ross Lawley (MongoDB-udvikler):

Før 1.2.0 blev kun en enkelt opgave understøttet af sink-konnektoren. Kilde-stikket understøtter stadig kun en enkelt opgave, det skyldes, at den bruger en enkelt Change Stream-markør. Dette er nok til at se og publicere ændringer i hele klyngen, i hele databasen eller ned til en enkelt samling.

Jeg rejste denne billet:https://jira.mongodb.org/browse/KAFKA-121 Fik følgende svar:Kildestikket vil kun producere en enkelt opgave. Dette er designet, da kildestikket understøttes af en ændringsstrøm. Change streams internt bruger de samme data, som bruges af replikeringsmotoren og bør som sådan være i stand til at skalere, som databasen gør. Der er ingen planer om at tillade flere markører, men hvis du føler, at dette ikke opfylder dine krav, så kan du Konfigurer flere stik, og hver af dem vil have sin egen markør for ændringsstrøm.




  1. Hvor meget hurtigere er Redis end mongoDB?

  2. De 6 bedste Redis-hukommelsesanalyseværktøjer

  3. MongoDB Aggregation:Tilføj felt fra et indlejret dokument via en dynamisk feltsti

  4. Mongodb aggregeringsforespørgsel til at trække fra og gruppere kumulativ værdi