Ja, det er muligt, du skal læse dataene fra CSV-filerne ved hjælp af CSV-modulet.
https://docs.python.org/library/csv.html
Og injicer dataene ved hjælp af Python MySQL-binding. Her er en god begyndervejledning:
https://zetcode.com/databases/mysqlpythontutorial/
Hvis du allerede kender python, vil det være nemt