Supongamos que tenemos almacenados números en un campo de tipo varchar. La manera de ordenarlos como número es:

select *
from tabla
order by
    (case
        when isnumeric(colvarch) = 1 then cast (colvarch as bigint)
     end)