Le château de Boussac domine la vallée de la Petite Creuse. Bâti au XVe siècle sur les vestiges d'une forteresse antérieure, il conserve une allure défensive avec ses tours rondes et son éperon rocheux.

Son titre de gloire tient à une découverte. C'est ici qu'étaient conservées, dans un état de dégradation avancée, les six tapisseries de la Dame à la licorne — l'un des chefs-d'œuvre de l'art médiéval, aujourd'hui au musée de Cluny à Paris. Prosper Mérimée les signale en 1841, George Sand les décrit et contribue à leur célébrité ; elles sont acquises par l'État en 1882.

George Sand, qui vivait non loin à Nohant, séjourna au château et en fit le cadre de son roman Jeanne. Zizim, prince ottoman frère du sultan Bajazet, y fut retenu prisonnier au XVe siècle — épisode singulier de l'histoire du lieu.

Le château est classé monument historique. Il est meublé et conserve des tapisseries d'Aubusson.