Jeg ved ikke, hvorfor det pludselig kører langsommere, men jeg anbefaler, at du konverterer til en joinforbindelse, som burde fungere bedre:
SELECT t.*
FROM temp_company t
LEFT JOIN company c ON c.number = t.number
WHERE c.number is null
Dette er en ret standard måde at tackle en not in (...)
via en join, og virker fordi outer joins, der ikke match har null i kolonnerne i den sammenføjede tabel.