Volviendo al palacio de las Vistillas, debió ser él, el duque manirroto, quien dio a los jardines su aspecto definitivo, al eliminar algunas estructuras y añadir la ría y las isletas, entre otras reformas. Al otro lado, en el Cerro de las Vistillas al que se abría el nuevo acceso a la finca el duque de Osuna se propuso desmontar el cerro (que ya había sido comprado por el 13er duque del Infantado a principios de siglo) hasta la altura del inmediato palacio y construir un parque, la obra de desmonte se realizó, pero no el jardín. De esta época es la única imagen que he conseguido del interior del palacio, un grabado del guadarnés (lugar donde se guardaban los arneses, arreos, etc. de los caballos) del duque, en el que aparece también él mismo, en 1854.

De esos mismos años son las fotografías tomadas por Clifford, y de la década siguiente el grabado de Rosell cuyo punto de vista está en el propio jardín, apuntando a la fachada del palacio. En estos últimos testimonios gráficos se puede apreciar la sencillez exterior de la construcción. Mesonero Romanos, en 1861, asimilaba este palacio, por sus características, a los edificios parisinos del Faubourg de Saint-Germain…

El plano de Íbero de hacia 1875 refleja la cartografía del palacio y los jardines en esta última etapa con la precisión a que nos tiene acostumbrados. Probablemente después de esta fecha no debieron hacerse reformas importantes.

Con los Téllez-Girón el palacio de las Vistillas había continuado siendo la residencia principal de la familia, aunque Mariano pasó largas temporadas en el extranjero, donde murió (Bélgica). Para entonces la Casa de Osuna se encontraba en irremisible bancarrota, y la intervención estatal para hacer frente a las ingentes deudas acumuladas por el duque era inminente. Mientras esta operación se gestaba la duquesa viuda aún tuvo tiempo de celebrar en las Vistillas una última gran fiesta a la que acudió de incógnito Alfonso XII. Finalmente todos los bienes del duque fueron vendidos para pagar a los acreedores, que eran legión, y el palacio de las Vistillas, que es el que nos ocupa, fue comprado en 1892, parece ser que con todos los interiores incluidos, por los duques de Montellano (los Falcó que todos conocemos), que llegaron a habitarlo brevemente, antes de venderlo a la Diócesis de Madrid para trasladarse ellos al Paseo de la Castellana, siguiendo la moda del momento. En el paseo construyeron otro gran palacio que, como tantos otros, sucumbió décadas después a la especulación inmobiliaria...

Volviendo a las Vistillas, en 1900 el palacio fue demolido íntegramente, y en su solar se construyó el Seminario Conciliar, que hoy pervive, mientras que los jardines, que al principio parece que fueron respetados, fueron profundamente alterados tras la Guerra Civil para instalar en ellos campos de deporte, si bien los últimos sondeos y catas arqueológicas realizados muestran que en el subsuelo perviven suficientes elementos para recuperar en un futuro el estado original del jardín en su última fase (siglo XIX). También a principios de siglo se trazó la actual calle de Jerte, aproximadamente sobre el antiguo barranco de San Francisco, que con el tiempo había quedado integrado en la finca.