Su nombre proviene de una antigua granja que los monjes jerónimos del monasterio segoviano de El Parral tenían aquí.
Felipe V se retiró a este lugar en 1724 y durante los veinte años siguientes engrandeció los jardines y el palacio, que fue usado como residencia de verano por todos sus sucesores hasta Alfonso XIII.
Recientemente, se han acometido trabajos de restauración y de reordenación de las colecciones en los Salones Oficiales que nos permiten volver a la época de Felipe V Los jardines son uno de los mejores ejemplos que hoy se conservan de los jardines del siglo XVIII, realizado por el arquitecto francés René Carlier; está formado con parterres y bosquetes delimitados con paredes de vetación formadas con carpe, y alineaciones de árboles, en especial tilos y castaños de Indias
En el siglo XIX se introdujeron nuevas especies, sobre todo coníferas como las monumentales sequoias, plantadas ante la Real Colegiata, en los jardines del Medio Punto. Estatuas de mármol blanco, y jarrones del siglo XVIII, decoran los parterres y avenidas del jardín, que se completan con grandiosas esculturas en las fuentes, en plomo pintado imitando bronce.
El agua que alimenta sus surtidores llega desde un gran depósito llamado El Mar, situado por encima de la zona ajardinada. Por la fuerza de la gravedad, como en el siglo XVIII, el agua de algunos surtidores alcanza los 40 metros de altura, como el de la fuente de la Fama