这座城市由明代土默特部阿勒坦汗，于1572年（隆庆6年）开工兴建，1575年（万历3年）建成，名为呼和浩特。其原址即在现在的玉泉区内。呼和浩特是蒙古语，呼和意思为蓝色，浩特意思为城市，意为蓝色的城市。在古代北方游牧民族盛行祭天。天为蔚蓝色。因此蒙古族崇尚蓝色。北方人又称蓝天为青天，而青象征繁荣茂盛，万古长青，故汉译为“青色的城市”。解放后又以“青城”闻名国内外。

　　  1575年明朝曾赐名为归化城，清初译为“胡胡河屯”，康熙年间译为“库库和屯”。清雍正十三年（1735年）又在“归化城东北5里处，新建绥远城”。此后“归化城”俗称“旧城”，绥远城则称之为“新城”，并设有土默特旗衙门。

　　  民国2年（1913年）设绥远特别行政区，并将绥远、归化两城合并为归绥县。民国17年（1929年）改绥远特别行政区为绥远省，省会设在归绥县。民国26年（1937年）归绥沦陷，日本侵略者将归绥县改称厚和特别市。民国34年（1945年）抗日战争结束后，厚和特别市改称归绥市。1949年绥远省和平解放，1950年成立归绥市人民政府，1954年撤销绥远省建制，划归内蒙古自治区管辖，取消了歧视少数民族的旧称，正式恢复呼和浩特名称。