sql >> Database teknologi >  >> NoSQL >> MongoDB

JavaScript mangler hukommelse, mens du streamer stor fil

Sender min kommentar som et svar, da det løste problemet og kan være nyttigt for andre, der har svært ved at bruge xml-stream pakke på denne måde.

Det drejer sig om collect metoden forårsager problemet, da den tvinger parseren til at samle alle forekomster af den behandlede node i et array, efterhånden som de parses. collect bør kun bruges til at indsamle underordnede elementer af en bestemt type fra hver node, der parses. Standardadfærden er ikke at gøre det (på grund af streaming-karakteren af ​​parseren, der lader dig behandle multi-gigabyte-filer med lethed).

Så løsningen var at fjerne den kodelinje og bare bruge endElement begivenhed.




  1. MongoDB logfil vækst

  2. MongoServer.State-ækvivalent i 2.0-driveren

  3. MongoDB $toDouble

  4. Er der en måde at projicere typen af ​​et felt på