El palacio fue la residencia principal del Infante don Luis, desde su construcción, en 1765, hasta su matrimonio morganático con María Teresa de Vallabriga, en 1776.
Allí fue reuniendo el infante una rica pinacoteca, un cuidado gabinete de historia natural, una biblioteca numerosa y selecta, además de muebles, relojes, colgaduras y otros objetos valiosos.
Desde el 8 de noviembre de 1770 contó con los servicios del músico Boccherini, y mantuvo a otros servidores como a don Francisco Font, viola (9-III-1771); don José Poliche, maestro de esgrima; don Luis Paret, pintor (2-XII-1774); Charles Joseph Flipart, pintor; don Andrés Sánchez del Busto que cuida el gabinete de historia natural (23-IX-1774); don Esteban de Epinoy, maquinista (1-X-1764); Manuel Gutiérrez, relojero (17-II-1767); don Francisco Landini, maestro de violín (15-II-1747); y otros más aparte de Ventura Rodríguez.
Hasta la llegada de la guerra civil de 1936, el palacio poseía una importante pinacoteca que contaba con trabajos de Francisco de Goya, Brurghel, Rembrant, Murillo, Velázquez, Durero, etc.