汉元鼎六年（前１１１），汉武帝派兵平定南越，将番禺城烧毁，故南海郡署曾南迁５０里（华南师范大学曾昭璇教授谓在今顺德简岸），后又迁回番禺。司马迁《史记》已言明番禺是“珠玑、犀、果、布、瑇瑁之凑”，班固《汉书·地理志》的记载多了银、铜、象牙三大商品。可见，番禺城被毁后，民间贸易仍不间断，手工业发展加快（铜、银、象牙都是手工业原料）。东汉末年建州城时，当地已具备工商业繁荣、农业发达的条件。东汉建安年间，东吴以步骘为交州刺史。“骘到南海，见土地形势，观尉佗旧治处，负山带海，博敞渺目，高则桑土，下则沃野……建安二十二年（２１７）迁州番禺，筑立城廓”（《水经注·泿水》）。但步骘城不是秦南海郡城的全部，而是秦南海郡城西半部（大半部），即只修复赵佗王都部分。赵佗王都基本上为步骘恢复，故步骘城即赵佗城址。
步骘城南门在番、禺二山之间，中间为南下海边大道，即今北京路到西湖路段，北面即在今越华路南面高坡上。
步骘城即子城，由东汉末建城至唐未有改建记载，故唐城即步骘城址。步骘城为南越国都西半部，汉初为都会，汉末仍为都会。《汉书·地理志》说：“中国往商贾者多取富焉，番禺亦其一都会也。”可见此城历久不衰。