Udtrykket du leder efter er "paginering". Desværre gøres dette forskelligt afhængigt af SQL-motoren.
For MS SQL Server, se denne Stack Overflow-spørgsmål .
Siden du nævnte MySQL, er det faktisk ret simpelt:
SELECT [columns] FROM [a table] LIMIT 10000
SELECT [columns] FROM [a table] LIMIT 10000 OFFSET 10000
Den første sætning henter resultaterne 1-10.000, og den anden sætning henter resultaterne 10.001-20.000.