En la colina más alta de la ciudad, con 548 m, domina el horizonte la solitaria mole rectangular del Alcázar. Es uno de los pocos edificios exentos de la ciudad. Los vestigios de las estructuras anteriores indican que siempre fue un lugar fortificado, desde el pretorio romano y la defensa de la alcazaba musulmana.

El actual edificio fue mandado construir por el emperador Carlos V, para tener una residencia digna de tal monarca. Para ello se destruyó casi por completo el anterior castillo medieval, aunque en la fachada oriental quedan estructuras almenadas. Cada fachada del edificio determina artísticamente el momento en que se realiza, dentro de las diversas fases del Renacimiento español.

Durante años albergó parte del catálogo del Museo de Ejército, siendo adaptado para albergarlo en su totalidad, como único emplazamiento nacional de esta colección e inaugurado como tal en 2010. También se realizaron obras de habilitación de la planta superior del edificio a las necesidades de la moderna Biblioteca de Castilla-La Mancha.