文渊阁大学士、礼部尚书邱浚云：“两广同为岭南地，其地势土俗大段不同。【广西山岭崎岖，林薄深阻其中，皆瑶、僮窟穴，编民错居其间。】广东十府，惟肇、高、廉三府地方犬牙交错，雷州府惟遂溪县，广州府惟连州与之相近，其余皆滨大海，地势平易，无有山林险阻。自洪武、永乐以来，朝廷惟命总兵官镇守广西，而广东一方，惟以备海洋、倭寇为急，未闻有瑶患侵犯也。”
由于当时的广西是平瑶、平僮的前线，两广总督赴任一般要经过广东肇庆，有些两广总督干脆坐镇肇庆指挥，待到局势稍为稳定后，才到广西梧州坐镇。
明代
明景泰三年，两广始设总督。
明代景泰三年（1452——1564年）始设于梧州，梧州作为总督府的时间仅为一百多年。
嘉靖四十三年（1564——1632年）迁往肇庆端州。
崇祯五年（1632年）迁往广州。
崇祯九年（1636年）回迁肇庆。
清代
清代两广总督的前身为顺治元年所置的广东总督，当时总督驻广州，兼辖广西。
顺治十二年，总督府迁往梧州。
康熙二年，别置广西总督，广东总督移驻廉州。
次年，撤销广西总督，广西政务复归广东总督管辖，广东总督迁驻肇庆。
雍正元年，重设广西总督，次年再次裁撤。
雍正七年，为统一西南军事指挥权，镇压苗族起事，广西政务暂归云贵总督兼辖。
雍正十二年，广西政务仍隶广东总督管辖，更号两广总督。
乾隆十一年，两广总督迁驻广州。
光绪三十一年至宣统三年，两广总督兼任广东巡抚。
直到清朝灭亡取消两广总督。