Fandt svaret, da jeg kiggede på det første svar i følgende indlæg:
Hvordan begrænser jeg antallet af rækker pr. feltværdi i SQL?
Jeg har ændret det, så det passer til mine specifikke behov:
SELECT * FROM
(
SELECT *, @num := if(@some_id = some_id, @num := @num + 1, 1) as row_num,
@some_id := some_id as some_id
FROM example
ORDER BY last_modified DESC
) as e
WHERE row_num <= 5