Problemet var, at object dtype er vildledende. Jeg troede, det betød, at alle genstande var strenge. Men tilsyneladende konverterede pandas nogle elementer til ints, mens de læste filen, og efterlod resten som strenge.
Løsningen var at sikre, at hvert felt er en streng:
>>> df1.col1 = df1.col1.astype(str)
>>> df2.col2 = df2.col2.astype(str)
Så fungerer sammenfletningen som forventet.
(Jeg ville ønske, at der var en måde at specificere en dtype på af str ...)