По древнему преданию, Мадрид был основан античным героем Окнием, сыном Тиберина (бога реки Тибр) и пророчицы Манто. На берегу реки Мансанарес была основана крепость Мантуя Карпетанская. Есть версия, что название Мадрид происходит от кельтского Магерит — «большой мост» (после арабского завоевания Испании искажённого в Маджирит). Город вырос вокруг крепости Маджирит, первое упоминание о которой относится к 932 г. Была построена крепость «алькасба», отделённая от жилых кварталов — «медины». Во время Реконкисты, в 1083 Мадрид был покорён королём Альфонсом IV. Развитие города вплоть до 1561 г. (когда король Филипп II сделал его столицей королевства) во многом зависело от взаимоотношений арабов и испанцев, то воевавших, то живших в мире. Очертания похожие на современные город приобрел в период с 1570-х по 1670-е, годы наиболее интенсивного развития. К концу XVI века в Мадриде уже жило 50 тыс. человек, а во время правления короля Карла V Габсбурга — в два раза больше. При короле Филиппе IV была построена четвёртая по счёту городская стена. В начале XVIII века испанская корона перешла к Бурбонам. При Филиппе V началось строительство нового королевского дворца (Palacio Real) вместо сгоревшего в 1734 старого дворца Алькасар (известного своими лабиринтами).

При короле Карле III Мадрид стал настоящей европейской столицей. Были приглашены такие архитекторы, как Сабатини, Марке, Вентура Родригес, Хуан де Вильянуэва и др. Были проведены работы по благоустройству — замощены и иллюминированы улицы, модернизировано водоснабжение. Город приобрёл неоклассический облик. Однако рост города прекратился. В 1808 г. город был захвачен французами (вторжение Наполеона). 2-го мая 1808 после свержения французами короля Фердинанда VII и провозглашения королём Жозефа Бонапарта, в городе вспыхнуло восстание, жестоко подавленное оккупантами. Этот эпизод (расстрел восставших)отражён в одном из самых знаменитых полотен Гойи.

Спустя два года вспыхнула освободительная война, перешедшая в Испанскую революцию 1808—1814 г. Впоследствии о развитии Мадрида много заботились король Фердинанд VII и королева Изабелла II. При королеве Изабелле произошёл бурный рост города, в связи с чем были снесены почти все городские ворота. До наших дней сохранились лишь Толедские ворота (фрагмент) и ворота Алкала.

Серьёзная перестройка города произошла в конце XIX — начале XX века. На месте старых были проложены новые, широкие улицы и бульвары, построено много зданий в стиле модерн («ар нуво)». В 1936 г. во время гражданской войны началась оборона города республиканцами от националистов (фалангистов) под командованием Франсиско Франко. В марте 1939 г. гарнизон капитулировал. Были повреждены многие исторические здания, экономика испытывала многочисленные затруднения. Вместе с тем, начато несколько крупных архитектурных проектов - триумфальная арка, штаб ВВС в районе Монклоа и некоторые другие. В 1950-е годы начали налаживаться связи с США. Начался подъём экономики и развитие туризма.

После смерти Франко в 1975 и третей реставрации Бурбонов, на трон взошёл правящий в настоящее время король Хуан Карлос I.

Король Хуан Карлос I Бурбон

В Мадриде начинается движение, известное как «мовида» — бурный рост субкультур и появление ряда новых деятелей кино и театра. В 90-х годах XX века были открыты два новых художественных музея — Музей королевы Софии и Музей Тиссена-Борнемисы. 11 марта 2004 года в Мадриде произошёл разрушительный террористический акт (одновременный взрыв на нескольких вокзалах), в котором обвиняется Аль-Каеда. События 11 марта считаются европейским аналогом террористическому акту в Нью-Йорке 11 сентября. В память о жертвах в центре города был возведен мемориал Лес умерших.