af en eller anden grund (måske fordi jeg bruger rubygems 1.3.7 eller installerer mysql-2.8.1)
sudo gem install mysql -- --with-mysql-config=/usr/local/mysql/bin/mysql_config
virkede ikke for mig, så efter at have kigget på gems/mysql-2.8.1/ext/mysql_api/extconf.rb fandt jeg ud af, at extconf.rb søger i PATH for mysql_config, så jeg prøvede
export PATH=$PATH:/usr/local/mysql/bin
sudo gem install mysql
og gjorde jobbet