呼和浩特阴山一带远古人类活动，有悠久历史。1973年在呼和浩特东北发现的距今50万年前的“大窑文化”发生于与北京周口店北京人同一时期的旧石器时代初期至晚期。

春秋战国之前，一些北方的游牧民族，如匈奴、林胡、楼烦在今天的呼和浩特地区游牧生活。战国时代的赵国国君赵武灵王推广“胡服骑射”，打败林胡、楼烦这两个游牧民族之后，在呼和浩特托克托县建云中城。中原的华夏民族开始在呼和浩特定居。“赵长城”经过呼和浩特北面的大青山。

前221年，秦始皇统一中国，建立36郡，呼和浩特附近的云中郡就是其中一郡。汉武帝时，云中是防备匈奴的前哨和远征匈奴的基地之一。北魏的“盛乐”，辽代的“丰州”也在这里。

元朝被明朝推翻之后，蒙古人退居塞外，建立北元政权。1572年，北元首领阿拉坦汗率土默特部驻牧呼和浩特，并在今玉泉区境内建“库库和屯”城，从此土默特部从草原游牧过渡到定居生活。呼和浩特，蒙古语为“青色的城市”，其中呼和为青色的意思，浩特为城市、城郭的意思。这个名称最早出现在蒙古文的《俺答汗传》中，书中记载：“大名扬天下的圣主俺答汗，在水公猴年（藏历，即明隆庆六年，1572年），召集举世无双的巧工名匠，模仿已失去的大都，在哈刺兀那之阳、哈屯河之滨，始建有八座楼和琉璃金银殿的雄壮美丽的呼和浩特。” “哈刺兀那”，蒙古语为黑山，明清著作中又称作“哈朗兀”、“喀朗乌”、“漠喀喇”等，即今大青山。“哈屯河”，为呼市西北乌素图谷汇流而下的五里沙河，即《绥远通志稿》中之“札达海河”。《俺答汗传》中的呼和浩特之称，是迄今为止所见最早的记载。明朝政府于万历年间赐汉名“归化”，意思是令少数民族归顺、化一，服从明朝廷的统治。

清雍正十三年(1735年）至乾隆四年又新建军事驻防城，命名为“绥远城”(即新城），后将“归化”、“绥远”两城合并为归化县。

1913年国民政府改名为归绥县，1950年中华人民共和国撤县设归绥市，1954年内蒙古自治区人民政府迁到这里，并设呼和浩特市，定为内蒙古自治区首府。