Para entender el declive de este lugar hay que bucear en la historia de sus propietarios. El palacio, que alojó y recibió a los principales artistas, músicos, literatos y políticos de la corte de Felipe V y de Fernando VI y Bárbara de Braganza, no solo fue hogar de Farinelli, que, por cierto, fue desterrado por Carlos III y que le reintegró el coste de la casa como indemnización a los duques de Osuna.