皋兰县为丝路重镇，陇西要冲。

春秋战国时为羌戎之地，

秦统一中国后归秦。

西汉时属金城郡，首置金城县。

西魏、北魏与北周时属子城县，子城县为金城郡治所在。

隋初，属兰州总管府，废府复郡后，仍属金城郡金城县。

唐属兰泉县，即现兰州市区所在，亦为金城郡治。

唐后期与五代时，为吐蕃辖地。

宋、金、元、明均属兰州。

清代乾隆三年(1738年)，因境内有皋兰山而更名为皋兰县，沿用至今。

清代至民国作为甘肃首县和省会重镇，幅员辽阔，辖今兰州、白银两市的大部分地区。

民国二年(1913年)并兰州府、巩昌府为兰山道，领15个县，兰山道尹驻省会皋兰县。

民国十六年(1927年)，废道改区，皋兰县属兰山区。

民国十九年(1930年)，皋兰县设7个区，429个村，县域东至甘草镇60千米交定西界，西至张家寺70千米交永登县界，南至漩马滩50千米交洮沙县界，北至甘露池80千米交红水县界。

民国二十五年(1936年)属甘肃督察公署第一行政督察区。

民国三十年(1941年)7月，中华民国政府划出皋兰县城区及近邻16平方千米的区域设立兰州市，皋兰县城即为兰州市区，兰州市区成为县中之区，县治驻现城关区永昌路。故有"先有皋兰县，后有兰州市"之说。

民国三十三年(1944年)12月后，皋兰县直属甘肃省。

民国三十四年(1945年)县治迁驻盐场堡，全县有21个乡镇，下辖157个保、1467个甲。

民国三十五年(1946年)县治迁往市内曹家厅，辖21个乡镇，151个保、1572个甲。

1949年8月26日，皋兰县与兰州市同日解放，直属陕甘宁边区政府甘肃行政公署。12月归属兰州市。

1951年8月由省直辖。

1956年1月划归定西专区。