Nå, inden for en time efter at have postet mit spørgsmål, fandt jeg allerede ud af det. Måske skulle jeg have undersøgt lidt mere, før jeg postede.
Problemet er, at sqlalchemy skal konfigureres til at bruge utf-8-kodning. Løsningen i ovenstående kode ville være at ændre linje 3 til:
engine = create_engine('mysql://root:@localhost/testdb?charset=utf8', encoding = 'utf-8')