sql >> Database teknologi >  >> RDS >> Mysql

Python Scrapy - udfyld start_urls fra mysql

En bedre tilgang er at tilsidesætte start_requests metode.

Dette kan forespørge din database, ligesom populate_start_urls , og returner en sekvens af Anmodning genstande.

Du skal blot omdøbe dine populate_start_urls metode til start_requests og rediger følgende linjer:

for row in rows:
    yield self.make_requests_from_url(row[0])


  1. SQL datakontrolsprog

  2. Array til streng konverteringsfejl Symfony 3

  3. SQL:indsæt rækker med opsummerede værdier

  4. Kan ikke få adgang til Google Cloud SQL-databasen fra min App Engine