Fue el lugar elegido para su retiro por el emperador Carlos V, que se instaló definitivamente en Yuste el 3 de febrero de 1.557. Tras su fallecimiento, el 21 de septiembre de 1.558, el monasterio recuperó su condición exclusiva de convento religioso y hoy es propiedad de Patrimonio Nacional.
El Palacio de los Condes de Osorno, parte de un antiguo caserón de caza de la familia Álvarez de Toledo (Condes de Alba) del S.XIV, posteriormente convertida en palacio residencial por el III Conde de Osorno D. Garci Fernández Manrique de Lara y su mujer María de Luna en el SXVI. Manrique de Lara fue una de las figuras más relevantes entre la nobleza del siglo XVI. Contó con el favor y la amistad de Carlos V. Presidente de la Orden de Santiago y de la Orden de Indias, fue mano derecha del emperador, a quien se cree que acompañó en su coronación a Italia donde trajo influencias renacentistas que aplicó en el Palacio.