Efter at have brugt timer på at prøve alle slags indstillinger i konfigurationsfilerne og genstarte mysql snesevis af gange, kom jeg op med dette, som ser ud til at løse problemet (kunne ikke finde dette i nogen dokumentation nogen steder)
MySQLdb.connect(server, username, password, database, local_infile = 1)