Gang Xu commence sa carrière en 2005 avec l'équipe chinoise Marco Polo. Dans sa première année, il termine troisième au classement général du Tour de la mer de Chine méridionale. L'année suivante il court pour l'équipe néerlando-japonaise Skil-Shimano et, plus tard rejoint en tant que stagiaire l'équipe ProTour italienne Lampre-Fondital. Après cette expérience sans lendemain, il retourne en Asie avec l'équipe continentale Hong Kong, où il devient champion de Chine de la course en ligne.