Problemet var fra mysql ved at bruge /var/tmp som tmpdir, hvilket ikke er stort nok til at kopiere tabellen og oprette de nødvendige indekser. Jeg rettede det ved at ændre tmpdir-placering til et sted, der indeholder mere plads.
først oprettede jeg mappen /home/mysql/tmp
mkdir /home/mysql/tmp
så ændrede jeg ejeren af den mappe til mysql:mysql
chown mysql:mysql /home/mysql/tmp
så stoppede jeg mysql server
service mysql stop
startede den derefter igen med følgende kommando:
service mysql start --tmpdir=/home/mysql/tmp