Jeg stødte på dette problem med en debian-container. Det, der fiksede det, var at installere hver pakke med separate kommandoer. Så i stedet for
RUN apt-get install -y python-pip libmysqlclient-dev
gør
RUN apt-get install -y python-pip
RUN apt-get install -y libmysqlclient-dev