Su diseño corresponde a Juan de Villanueva. No obstante, las obras, paralizadas durante la Guerra de la Independencia, serán reanudadas bajo el reinado de Fernando VII, de la mano de Isidro González Velázquez. Juan de Villanueva concibe el edificio plenamente integrado en el jardín, indisoluble del concepto mismo. La incorporación de una arquitectura en el paisaje recupera el tema de la vida en el campo y del mundo rural, como resulta evidente en la propia denominación del edificio. Si bien, el concepto de la construcción lleva, más que a un modesto capricho, hacia un verdadero palacio de recreo.