A mediados del siglo XVI los terrenos que hoy ocupa el Palacio de Buenavista eran un olivar. Para facilitar el acceso a esta zona de la capital desde la Puerta del Sol se hizo la calle de Alcalá, ya que algunas personalidades relevantes habían comenzado a edificar conventos. En general eran edificios de poca importancia porque se encontraban en lo que eran los arrabales de la ciudad. Tenían amplias huertas y jardines.
El primer edificio que ocupó este solar perteneció al
cardenal Quiroga, Arzobispo de Toledo e Inquisidor Mayor del Reino. Al encontrarse en Nápoles ofreció este palacio a
Felipe II que lo utilizó como residencia de recreo y descanso. Como las obras del Alcázar se iban alargando, frecuentó el palacio con bastante asiduidad. Sin embargo, al crecer Madrid, esta zona dejó de estar aislada y el rey prefirió otros destinos como Aranjuez o El Escorial.
Felipe III vendió las casas de Buenavista a Don Diego de Silva y Mendoza en 1609.
En 1697 se edificó una primera Puerta de Alcalá, de ladrillos, entre el actual Ayuntamiento de Madrid y el Palacio de Linares. Hasta mediados del siglo XVIII entre la Cibeles y Neptuno no había más que un barranco por el que corría un arroyo.
En 1744 la familia Silva y Mendoza perdió sus posesiones que pasaron a manos de la Real Congregación del Glorioso San Ignacio de Loyola que unos años después la vendió al
marqués de la Ensenada. Tampoco éste disfrutó mucho del palacio ya que perdió todos sus cargos diez años después.
Isabel de Farnesio, tras enviudar de Felipe V vivió en el palacio de Buenavista hasta su muerte en 1766.
La actual Puerta de Alcalá se construyó en época de Carlos III, hacia finales del siglo XVIII. Se echó tierra sobre el barranco y en 1781 se instaló la fuente de la Cibeles. Fue este el comienzo del cambio de la zona.
Desde 1769 el
duque de Alba, Fernando de Silva y Alvarez de Toledo comenzó a comprar las casas conocidas como Buena-Vista, que pertenecían a Isabel de Farnesio y otros terratenientes, uniendo los terrenos. Su nieta, la famosa
María Teresa Cayetana de Silva, hizo demoler la mayoría de los edificios existentes y proyectó la construcción de un edificio a la altura de su rango, pero murió antes de verlo terminado, en 1802.
Cuando el edificio estaba casi finalizado, en 1795, un gran incendio causó grandes deperfectos al palacio. Al año siguiente otro incendio hizo que la duquesa perdiera cierto interés por él. A su muerte, el palacio de Buenavista fue heredado por varias personas ajenas a la familia de la duquesa, la mayoría de condición
modesta. Parece ser que la duquesa prefirió dejarles a ellos sus posesiones por problemas con sus familiares. Como el palacio era costoso de mantener, estos herederos decidieron venderlo.
En 1807 el Ayuntamiento lo compró, ya que quería regalárselo a
Godoy, sin embargo este caería en desgracia antes de habitarlo, aunque había comenzado ya con las obras para su adecuación.
Durante la ocupación francesa, el Estado Mayor bajo el mando del
mariscal Murat ocupó este palacio mientras las tropas estaban acantonadas en el Retiro y la Casa de Campo. El
rey José I pensó en instalar en el palacio de Buenavista un Museo de Pinturas. Durante el reinado de Fernando VII lo ocupó un edificio dedicado a la Inspección de Milicias.
Hacia 1816 fue sede del Museo Militar. Ese año tomó posesión del palacio el
conde de Casa-Sarria, jefe de la escuela de artillería, en representación del ramo de la Guerra. El palacio estaba entonces en bastante mal estado con el tejado roto, lleno de goteras, el interior sin decorar, los jardines llenos de escombros.... Una vez instalado el Museo Militar poco a poco se fue ampliando con edificios anexos para albergar un cuartel y otras dependencias necesarias.
El Real Museo Militar estuvo en el palacio hasta que en 1827 se dividió en dos museos distintos, uno el Real Museo de Artillería y otro el Museo del Real Cuerpo de Ingenieros.
Sin embargo el mayor cambio que se operaría en el Palacio de Buenavista tendría lugar en el año 1841 preparándolo para ser la vivienda del general
Espartero como regente de España. Además se trasladó entonces el Museo Militar al antiguo Palacio del Buen Retiro, donde estuvo hasta el año 2009 que pasó al Alcázar de Toledo.
Con motivo de las celebraciones por la mayoría de edad de
Isabel II se alojó en el palacio el enviado extraordinario de la Sublime Puerta Otomana.
A partir de 1847 fue destinado a Ministerio de la Guerra, aunque estaba todavía sin terminar. El general Prim, antes de fallecer, dictaminó las órdenes oportunas para el cerramiento del edificio que culminó en 1876. Con el tiempo pasaría a ser Ministerio del Ejército y actualmente es el Cuartel General del Ejército de Tierra.