Jeg vil først og fremmest spørge, hvorfor du har en varchar-kolonne, der skal behandles som numerisk, men ligegyldigt.
Du kan bruge extra
queryset metode til at konvertere din streng:
MyTable.objects.extra(select={'int_name': 'CAST(t.name AS INTEGER)'},
order_by=['int_name'])