桥寺乡发现的朱家墩遗址和杨家河遗址均属马厂、半山、齐家文化，由此可断，早在五千多年前县境内就有人类繁衍生息。

春秋战国时，县境为羌人住地，受罕羌侯管辖。罕羌侯建邑(今双城)，为县境内最早出现的城市。秦朝设陇西郡后，灭罕羌侯，设枹罕县，县治在罕羌侯邑(今双城)。

西汉建国，沿袭秦朝建制，县治未变，仍属陇西郡。汉昭帝始元六年(公元前81年)，枹罕县改属金城郡。后从枹罕县分置白石县，县治在枹罕县旧址，枹罕县址东移至今新集镇古城村。东汉初年，仍沿西汉制。东汉建武十二年(公元36年)，枹罕县又归陇西郡管辖。

三国时，陇西郡属秦州，枹罕县属陇西郡。

西晋初仍循魏制，晋武帝太康二年(281年)，废枹罕县，立枹罕护军。东晋十六国时期，张轨据凉州，建前凉政权，在河湟地区建立晋兴郡，辖兴晋、枹罕等10县。东晋康帝建元二年、张骏二十一年(344年)，因州界辽阔，分置河州(今临夏)，河州之名自此始。河州辖兴晋、金城、大夏等10郡。兴晋郡辖枹罕县，郡治县治均在枹罕县址(今新集镇古城村)，现有遗迹可辩。前凉亡，河州相继为前赵、后赵、前秦、后秦，氐、羌等民族建立的政权所管，枹罕县仍旧。

隋文帝开皇三年(583年)废郡存州。隋炀帝杨广大业三年(607年)改周为郡，枹罕县属枹罕郡，废凤林县，其地并入枹罕县。

唐高祖李渊武德二年(619年)，置河州，领枹罕、大夏2县。唐太宗李世民贞观元年(627年)实行道、州、县三级制，全国分10道，河州属陇右道。贞观七年(633年)于旧凤林县地置乌州，十一年乌州废，置安乡县。唐玄宗李隆基天宝元年(742年)改河州为安乡郡，属陇右道，辖枹罕县。天宝十四年(755年)发生"安史之乱"，吐蕃攻取陇右。唐代宗李豫广德元年(763年)河州为吐蕃占领，吐蕃在河州枹罕设军，属东道元帅府统辖，军有衔史、司台等职。

北宋初，吐蕃王族后裔唃厮啰占据河湟地区，宋真宗赵恒封唃厮唃之孙木征为河州刺史治河州。宋神宗赵顼熙宁六年(1073年)，以断"西夏占有"为名，王韶进兵"收复"河州。河州先后属熙河路、熙河兰会路、熙河兰湟路、熙河兰廓路等。南宋高宗赵构绍兴元年(1131年)金国夺取河州地区，设州置县，仍属熙河路。金熙宗完颜皇统二年(1142年)置临洮路辖河州。金海陵王完颜亮贞元二年(1154年)废枹罕县，是年复置枹罕县，州治县治均在县境。

蒙古元太祖孛儿只斤铁木真二十二年(1227年)三月，河州地区为蒙古汗国占领。元宪宗孛儿只斤蒙哥四年(1254年)为蒙古巩昌府所辖。完宗五年(1255年)蒙古汗国设吐番等处宣慰司都元帅府于河州，管理蒙藏事宜。元世祖孛儿只斤忽必烈至元八年(1271年)元朝建立，在陕西行省下置河州路，领定羌、宁河、安乡3县(今县境为安乡县属地)，均隶属于中央宣政院吐蕃等处宣慰司都元帅府。