Det lykkedes mig at få forbindelse med:
tunnel = sshtunnel.SSHTunnelForwarder((ssh_host, 22), ssh_password=ssh_password, ssh_username=ssh_username,
remote_bind_address=('localhost', 3306))
tunnel.start()
Tilsyneladende var forskellen at holde tunnelen åben i stedet for at bruge "med"-sætning, selvom jeg ikke forstår, hvad der faktisk skete, og jeg ville sætte pris på en forklaring.