Løsning (takket være denne kommentar!)
COPY <tablename> FROM <filename> WITH CSV DELIMITER E'\t' QUOTE E'\b' NULL AS '';
Så dybest set angive et citattegn, der aldrig burde være i teksten, men det er ret grimt.
Jeg ville meget foretrække, hvis der rent faktisk var en måde at slå tilbudsbehandling fra helt fra.