Hvordan skal jeg ændre min sql for at få det, jeg vil have i dette tilfælde?

Du kan bruge row_number for at vælge rækkerne med den største dato pr. værdi

select * from (
    select t2.id2, t1.date, t2.data, 
        row_number() over (partition by t2.data order by t1.date desc) rn
    from table1 t1
    join table2 t2 on t1.id = t2.id2
) t where rn = 1