python-rq worker lukker automatisk

Okay, jeg fandt ud af problemet. Det var på grund af timeout for arbejderen.

try:
  --my code goes here--
except Exception, ex:
  self.error += 1
  with open("error.txt", "a") as myfile:
     myfile.write('\n%s' % sys.exc_info()[0] + "{}".format(self.url))
  pass

Så ifølge min kode bliver det næste domæne sat ud af kø, hvis der hentes 200 url(er) fra hvert domæne. Men for nogle domæner var der utilstrækkeligt antal webadresser til at betingelsen kunne afsluttes (som kun 1 eller 2 webadresser).

Da koden fanger alle undtagelserne og føjes til error.txt fil. Selv undtagelsen rq timeout rq.timeouts.JobTimeoutException blev fanget og blev vedhæftet sagen. Således får arbejderen til at vente på x tidsrum, som fører til opsigelse af arbejderen.