Ud fra den fejl, du postede, vil jeg gætte på, at du har en form for manglende mysql-afhængighed.
_mysql.c:44:10: fatal error: my_config.h: No such file or directory
44 | #include "my_config.h"
| ^~~~~~~~~~~~~
Ser på github-siden for mysqlclient kunne du måske prøve at køre:
sudo apt-get install python3-dev default-libmysqlclient-dev build-essential
Efter min erfaring mangler en .h fil betyder generelt, at der mangler et udviklingsbibliotek på din computer, som python-udvidelsen har brug for