sql >> Database teknologi >  >> RDS >> Oracle

Henter enorme data fra Oracle i Python

Du bør bruge cur.fetchmany() i stedet. Det vil hente en del af rækker defineret af arraysise (256)

Python-kode:

def chunks(cur): # 256
    global log, d
    while True:
        #log.info('Chunk size %s' %  cur.arraysize, extra=d)
        rows=cur.fetchmany()

        if not rows: break;
        yield rows

Foretag derefter din behandling i en for-løkke;

for i, chunk  in enumerate(chunks(cur)):
            for row in chunk:
                     #Process you rows here

Det er præcis sådan, jeg gør det i min TableHunter for Oracle .



  1. mysql fuldtekstsøgning mislykkedes

  2. Hvorfor lære Cassandra med Hadoop?

  3. hvordan man henter dataene i JSP inde i tabel baseret på drop down valg

  4. Synkroniser stor lokal DB med server DB (MySQL)