榆中，距今约1.5万年前的旧石器时代就有先民居住，上古时为羌住地，后被匈奴占据。

秦始皇三十三年（前214），蒙恬“西北斥逐匈奴，自榆中并河以东，属之阴山，以为三十四县（一为四十四县），城河上为塞”。治所在今兰州市城关区东岗镇，隶属陇西郡。秦汉之际，复被匈奴攻占。

汉武帝元朔二年（前127）复置榆中县，隶属陇西郡。元拧二年（前 121）置勇士县，辖榆中苑川河东北地区，治所在今定西县境内。后榆中、勇士二县改属天水郡。昭帝始元六年（前81），设金城郡，榆中县改属金城郡，勇士县仍属天水郡。明帝永平十七年（74），改天水郡为汉阳郡，辖勇士县，榆中县仍属金城郡。灵帝中平元年（184），勇士县北部被羌胡占据。三国时，榆中县为曹魏政权金绒郡属县。

晋穆帝永和十一年（355），榆中县被前凉李俨所占。孝武帝太元元年（376），前秦灭前凉，榆中属前秦。太元十年（385）鲜卑族乞伏国仁在苑川筑勇士城，建立西秦，置苑川等12郡，榆中县隶属苑川郡。

北魏太武帝太延五年（439）废县，设榆中镇。孝明帝正光五年(524)废榆中镇，恢复榆中县置，隶属金城郡。北周废榆中县，其地并人子城县，仍属金城郡。

隋文帝开皇元年（581）新置兰州，领金城郡，金城郡领子城1县。隋文帝开皇三年（583），实行州县两级行政建置，兰州领子城等4县，治所在子城县。炀帝大业三年（607），又改兰州为金城郡，将子城县改为金城县。