Археологические раскопки на берегах реки Мансанарес доказывают, что появление человека в окрестностях Мадрида относится к эпохе нижнего палеолита (около 100 тысяч лет назад). Однако, упоминания о Мадриде как о городе появляются значительно позже. Считается, что город основал эмир Кордовы Мохаммед I для защиты подступов к Толедо от леонцев и кастильцев.
Город вырос вокруг крепости Маджирит, первое упоминание о которой относится к 932 году. Была построена крепость «алькасба», отделённая от жилых кварталов — «медины». Во время Реконкисты, в 1085 году Мадрид был покорён королём Альфонсом VI. Развитие города вплоть до 1561 году (когда король Филипп II сделал его столицей королевства) во многом зависело от взаимоотношений арабов и испанцев, то воевавших, то живших в мире. Очертания, похожие на современные, город приобрел в период с 1570-х по 1670-е, годы наиболее интенсивного развития. К концу XVI века в Мадриде уже жило 50 тыс. человек, а во время правления короля Карла V Габсбурга — в два раза больше. При короле Филиппе IV была построена четвёртая по счёту городская стена. В начале XVIII века испанская корона перешла к Бурбонам. При Филиппе V началось строительство нового королевского дворца (Palacio Real) вместо сгоревшего в 1734 г. старого дворца Алькасар (известного своими лабиринтами).
Королевский дворец
При короле Карле III Мадрид стал настоящей европейской столицей. Были приглашены такие архитекторы, как Сабатини, Марке, Вентура Родригес, Хуан де Вильянуэва и др. Были проведены работы по благоустройству: замощены и иллюминированы улицы, модернизировано водоснабжение. Город приобрёл неоклассический облик. Однако рост города прекратился. В 1808 г. город был захвачен французами (вторжение Наполеона). 2 мая 1808 г. после свержения французами короля Фердинанда VII и провозглашения королём Жозефа Бонапарта в городе вспыхнуло восстание, жестоко подавленное оккупантами. Этот эпизод (расстрел восставших) отражён в одном из самых знаменитых полотен Гойи.
Франсиско Гойя. Расстрел восставших 3 мая 1808 г. Из собрания музея Прадо
Спустя два года вспыхнула освободительная война, перешедшая в Испанскую революцию 1808—1814 гг. Впоследствии о развитии Мадрида много заботились король Фердинанд VII и королева Изабелла II. При королеве Изабелле произошёл бурный рост города, в связи с чем были снесены почти все городские ворота. До наших дней сохранились лишь Толедские ворота (фрагмент) и ворота Алкала.
Ворота Алкала на площади Независимости
Серьёзная перестройка города произошла в конце XIX — начале XX века. На месте старых были проложены новые, широкие улицы и бульвары, построено много зданий в стиле модерн («ар нуво)». В 1936 году во время гражданской войны началась оборона города республиканцами от националистов (фалангистов) под командованием Франсиско Франко. В марте 1939 года гарнизон капитулировал. Были повреждены многие исторические здания, экономика испытывала многочисленные затруднения. Вместе с тем было начато несколько крупных архитектурных проектов — триумфальная арка, штаб ВВС в районе Монклоа и некоторые другие. В 1950-е годы начали налаживаться связи с США. Начался подъём экономики и развитие туризма.