sql >> Database teknologi >  >> NoSQL >> MongoDB

Hurtigste måde at slette mere end 100 millioner dokumenter efter ID

Fordi vi ikke har råd til brugernedetid, og løsningen skal køre på daglig basis (omend i meget mindre skala, da vi er ved at indhente denne første kørsel), kunne jeg ikke bruge Salvador Dalis løsning. Jeg endte med at gruppere mine poster, der skulle slettes, i grupper på 1k og sende en BulkWrite-kommando indeholdende én delete() operation for hver post. Sideløbende sendte jeg n BulkWrite-kommandoer for at annullere referencer til hver post, hvor n er antallet af samlinger, der refererer til posterne, og hvor hver BulkWrite-anmodning har 1k individuel update() operationer, der ligner delete() . Dette fungerede rimelig hurtigt, så jeg forsøgte ikke at optimere yderligere ved at justere antallet af operationer i BulkWrite-kommandoerne.



  1. Morphia-forespørgsel med eller operator

  2. Problem med Redis install cc:Kommandoen blev ikke fundet

  3. MongoDb brugerdefineret samling serializer

  4. mongodb findOne med forklar