甘谷县古为冀县，为全国县治肇始之地，有“华夏第一县”之称。

据《史记·秦本纪》记载：“秦武公十年（公元前688年），伐邽、冀戎，初县之。”秦武公攻邽、冀戎人，征服了邽、冀以后，建立了邽县和冀县。秦建立郡县制是诸侯割据的中国建立中央集权制的开始。今甘谷西汉时仍为冀县。

东汉明帝永平十七年（公元74年）将天水郡移置冀县，改为汉阳郡。

东汉灵帝时（公元168——188年）兼凉州治，凉州刺史治冀县。

三国曹魏时（公元220——265年）为冀县，改汉阳郡为天水郡，属天水郡。

晋武帝泰始五年（公元269年）置秦州治，泰康七年（公元286年）秦州迁置上邽。

北朝后魏武帝太平真君八年，（公元447年）改为当亭县，属天水郡。

北朝北周时（公元557——581年）改为冀城县，后又并入黄瓜县。

隋炀帝大业时（公元605——620年）复改为冀城县。

唐高祖武德三年（公元620年）改为伏羌县，并入渭州的陇西，置伏州治。

唐代宗广德元年至宋太祖建隆三年（公元763——962年），为吐蕃占领。

宋太祖建隆三年，置伏羌寨，属秦州。宋神宗熙宁三年（公元1070年）升为伏羌城。宋徽宗崇宁三年（公元1104年）置永宁镇，属巩州。

元世祖至元十三年（公元1276年），以伏羌城升为伏羌县。

明清两代沿用伏羌县，属巩昌府。

民国十八年（公元1929年）元月一日，伏羌县改为甘谷县至今。

民国二十三年(1934年),甘肃省政府设立天水行政督察区。次年，改称甘肃省第四行政督察区，辖10县。

一九四九年8月3日，天水县解放。8月15日，天水分区行政督察区成立，辖天水、甘谷、武山、徽县、两当、通渭、秦安、清水八县。