Jeg står over for samme problem som dig. Der er omkring 2-3 sekunders forsinkelse ved behandling af det første job.
Efter at have søgt rundt fandt jeg, at laravel-køen arbejder som standard 3 sekunders søvn.
Hvilket betyder, at det første job vil forsinke 3 sekunder i værste fald.
For at løse det skal du blot angive --sleep=0, når du kører arbejderen. Håber det hjælper.
php artisan queue:worker --sleep=0