sql >> Database teknologi >  >> NoSQL >> MongoDB

Kan kafka forbinde - mongo-kilde køres som klynge (max.opgaver> 1)

Mongo-kilde understøtter ikke tasks.max> 1. Selvom du indstiller den til mere end 1, er det kun én opgave vil være at trække data fra mongo til Kafka.

Hvor mange opgaver, der oprettes, afhænger af en bestemt forbindelse. Funktion List<Map<String, String>> Connector::taskConfigs(int maxTasks) , (som bør tilsidesættes under implementeringen af ​​din connector) returner listen, hvilken størrelse bestemmer antallet af opgaver. Hvis du tjekker mongo-kafka source connector vil du se, at det er singletonList.

https://github.com/mongodb/mongo-kafka/blob/master/src/main/java/com/mongodb/kafka/connect/MongoSourceConnector.java#L47




  1. Sådan læser du et specifikt nøgle-værdi-par fra mongodb-samlingen

  2. Oprettelse af et delvist indeks, når feltet ikke er null

  3. MongoDB Vis børnegenstande i One to Many-forholdet

  4. Hvordan kan jeg hente datetiime fra mongodb? Ved at sammenligne dataene med jDateChosser Java