MongoDB - Fejl:kommandoen getMore mislykkedes:Markøren blev ikke fundet

Efter indstilling af noCursorTimeout mulighed, skal du enten lukke markøren manuelt med cursor.close() eller ved at udtømme markørens resultater.

Da du ønsker at behandle alle dokumenterne i markøren, behøver du ikke at lukke den manuelt, men det er stadig muligt, at noget andet går galt i din kode, og der kommer en fejl, før du er færdig, og dermed forlader markøren åben. .

Hvis du stadig ønsker at bruge denne fremgangsmåde, skal du bruge en try-catch for at sikre, at du lukker markøren, hvis noget går galt, før du bruger alle dens dokumenter.

Bemærk, at jeg ikke betragter dette som en dårlig løsning (derfor 👍), da jeg selv troede, at det betragtes som en dårlig praksis...:

• Det er en funktion, der understøttes af driveren. Hvis det var så slemt, da der er alternative måder at omgå timeout-problemer på, som forklaret i de andre løsninger, vil dette ikke blive understøttet.

• Der er måder at bruge det sikkert på, det er bare et spørgsmål om at være ekstra forsigtig med det.

• Jeg antager, at du ikke kører denne slags forespørgsler regelmæssigt, så chancerne for, at du begynder at efterlade markører åbne overalt, er lav. Hvis dette ikke er tilfældet, og du virkelig har brug for at håndtere disse situationer hele tiden, så giver det mening ikke at bruge noCursorTimeout .

3. 👍 Prøv igen, når markøren udløber

Grundlæggende lægger du din kode i en try-catch og når du får fejlen, får du en ny markør, der springer de dokumenter over, du allerede har behandlet:

let processed = 0;
let updated = 0;

while(true) {
    const cursor = db.snapshots.find().sort({ _id: 1 }).skip(processed);

    try {
        while (cursor.hasNext()) {
            const doc = cursor.next();

            ++processed;

            if (doc.stream && doc.roundedDate && !doc.sid) {
                db.snapshots.update({
                    _id: doc._id
                }, { $set: {
                    sid: `${ doc.stream.valueOf() }-${ doc.roundedDate }`
                }});

                ++updated;
            } 
        }

        break; // Done processing all, exit outer loop
    } catch (err) {
        if (err.code !== 43) {
            // Something else than a timeout went wrong. Abort loop.

            throw err;
        }
    }
}

Bemærk, at du skal sortere resultaterne for at denne løsning kan fungere.

Med denne tilgang minimerer du antallet af anmodninger til serveren ved at bruge den maksimalt mulige batchstørrelse på 16 MB uden at skulle gætte på, hvor mange dokumenter du vil være i stand til at behandle på 10 minutter i forvejen. Derfor er den også mere robust end den tidligere tilgang.

4. 👎 Forespørg resultaterne i batches manuelt

Grundlæggende bruger du skip(), limit() og sort() til at lave flere forespørgsler med et antal dokumenter, som du tror, ​​du kan behandle på 10 minutter.

Jeg betragter dette som en dårlig løsning, fordi chaufføren allerede har mulighed for at indstille batchstørrelsen, så der er ingen grund til at gøre dette manuelt, brug bare løsning 1 og opfind ikke hjulet igen.

Det er også værd at nævne, at det har de samme ulemper som løsning 1,

5. 👎 Hent alle dokumenter, før markøren udløber

Sandsynligvis tager din kode noget tid at udføre på grund af resultatbehandling, så du kunne hente alle dokumenter først og derefter behandle dem:

const results = new Array(db.snapshots.find());

Dette vil hente alle batches efter hinanden og lukke markøren. Derefter kan du gennemgå alle dokumenterne i results og gør, hvad du skal gøre.

Men hvis du har problemer med timeout, er chancerne for, at dit resultatsæt er ret stort, så det er måske ikke den mest tilrådelige ting at trække alt i hukommelsen.

Bemærkning om snapshot-tilstand og dublerede dokumenter

Det er muligt, at nogle dokumenter returneres flere gange, hvis mellemliggende skriveoperationer flytter dem på grund af en vækst i dokumentstørrelsen. For at løse dette, brug cursor.snapshot() . Fra dokumenterne: