Der er ingen mulighed for dette i MariaDB og MySQL. Jeg løb ind i det samme problem som dig for nogle måneder siden, jeg søgte meget, og jeg løste det endelig delvist ved at oprette et særligt lagerområde på NAS'en til disse porære datasæt.
Opret en mappe på din NAS eller en partition på en intern HDD, den vil per definition være begrænset i størrelse, monter den derefter, og tildel det midlertidige lager til dette drev i mysql ini:(vælg enten windows/linux)
tmpdir="mnt/DBtmp/"
tmpdir="T:\"
mysql-tjenesten skal genstartes efter denne ændring.
Med denne tilgang, når drevet er fuldt, har du stadig "underlige problemer" med forespørgsler på disken, men de andre problemer er væk.