Destin lié des Semur et de Cluny
C’est dans le château seigneurial des Semur, au cœur du Brionnais, sur un éperon rocheux caché de la Loire, que Hugues, futur grand abbé de Cluny, voit le jour en 1024. La famille de Semur est très puissante à cette époque ; elle est apparentée à celles de Bourgogne et du roi de France. A l’âge de treize ans, Hugues rejoint le prieuré clunisien de St-Marcel-lès-Chalon pour devenir, en 1049, le sixième abbé de Cluny. A partir de 1055, les liens entre Cluny et les Semur se renforcent : le frère de l’abbé, Geoffroy, offre les terres de Marcigny à l’abbaye pour y fonder un monastère de femmes, que rejoignent plus tard sa sœur et sa mère ; d’autres hommes de la famille se font moines à Cluny, et Geoffroy V, petit neveu de saint Hugues, entreprend à Semur la construction de la collégiale Saint-Hilaire, à la fin du XIIe s., en repentir de ses fautes. Ensuite, malgré la disparition assez rapide de la famille de l’illustre abbé, Semur conservera un rang administratif de chef-lieu de bailliage jusqu’à la Révolution. 
Le parfum médiéval d’une cité seigneuriale
Contrairement à Marcigny, la Révolution fut plus clémente et épargna la ville haute, qui conserve de son passé clunisien le château des Semur, des Xe-XIIe s., le plus vieux de Bourgogne : construit sur une motte. Son donjon roman rectangulaire, de vingt deux mètres de haut, est protégé par une porterie faite de deux tours en demi lune, abritant une oubliette, un silo, un escalier et deux salles de garde. Son affectation de prison de bailliage l’a épargné à la Révolution. 
A quelques dizaines de mètres de lui, dans la ville haute, se dresse la collégiale Saint-Hilaire, du XIIe s. 
Son clocher octogonal, son chevet flanqué d’absidioles, sa nef à trois niveaux avec son faux triforium, son décor, sa curieuse tribune en encorbellement, sur le mur du couchant, tous inspirés de Cluny, en font un des chefs d’œuvre de l’art roman du Brionnais. 