Jeg stod over for det samme problem, da jeg installerede mysql2-0.3.21 på Mac pro.
Nedenstående løsning virkede for mig (kør nedenstående 3 kommandoer i terminalen, der peger på din projektmappe):
brew install mysql
gem install mysql2 -v '0.3.21' -- --srcdir=/usr/local/mysql/include
bundle install