On peut qualifier cet endroit de recoin du duché de Bourgogne, à presque deux heures de route aussi bien de Nevers que de Dijon, il se situe légèrement plus au sud que Cluny et Mâcon.
La petite ville de Charolles appartient de longue date aux ducs de Bourgogne, mais en 1292, Hugues IV décide de faire de la région un comté : le Charolais — du nom de Charolles, bien sûr — modeste en taille, une sorte de quadrilatère aux côtés irréguliers d’environ quarante kilomètres de long. En 1327, quand une héritière épouse le comte d’Armagnac, le comté change temporairement de propriétaire, mais, en 1390, la famille Armagnac, à court d’argent, vend le Charolais pour 60 000 francs-or à Philippe le Hardi. Il revient ainsi entre les mains de la maison de Bourgogne, mais cette fois dans la branche des Valois, ces flamboyants hommes d’État qui deviendront les pères fondateurs des Plats Pays. Ironie du sort : un quart de siècle plus tard, les deux familles cosignataires de l’acte de vente finiront ennemies jurées dans la guerre civile opposant Armagnacs et Bourguignons. Jean sans Peur instaure une tradition : les héritiers bourguignons porteront désormais d’abord le titre de comte de Charolais, comme c’est le cas en France avec le dauphin (Dauphiné) ou, aujourd’hui encore au Royaume-Uni, avec le prince de Galles. Tant que Philippe le Bon et Charles le Téméraire ne seront pas ducs, ils seront appelés Philippe et Charles de Charolais. Une façon de les entraîner déjà un peu au maniement du pouvoir. C’est surtout Charles qui, dans sa jeunesse, s’illustrera comme « comte de Charolais ».
Depuis le rond-point — qui porte à juste titre le nom de place Charles le Téméraire — une petite minute de marche suffit à rejoindre l’éperon verdoyant où se dressait autrefois le château. Aujourd’hui, il ne reste que deux des cinq tours et une porte. Entre 1436 et 1450, Philippe le Bon fait exécuter d’importants travaux pour rénover de fond en comble cette forteresse déjà ancienne, toujours dans l’optique de se défendre contre les Français menaçant les frontières du duché. Son fils Charles le Téméraire poursuivra l’effort dans les années 1460. Ce qui saute tout de suite aux yeux, c’est la tour haute de cinq étages, érigée en 1474, qui porte son nom. On y accède encore par un escalier extérieur ; à chaque étage se trouve une salle, avec cheminée et des banquettes près des fenêtres. Chaleur et vue imprenable, voilà tout ce qu’il fallait aux guetteurs pour surveiller les alentours. Une porte au quatrième étage révèle qu’autrefois les murailles reliaient les cinq tours à cette hauteur, et que les sentinelles empruntaient ici le chemin de ronde derrière le parapet. Charles sentant le souffle brûlant du roi de France dans son cou, lance les travaux de fortification nécessaires. Les meurtrières parlent d’elles-mêmes.
En face, vous pouvez encore voir l’entrée du château, une ancienne porte en ogive gothique, à laquelle un étage supplémentaire sera ultérieurement ajouté. À côté s’élève la tour dite du Diamant, ainsi nommée vu la finition de son mur de pierres taillées en forme de pointes de diamant. C’est par cette porte que l’on accède à la ville elle-même. Au XVe siècle, Charolles compte presque 900 habitants, comme dans la plupart des villes bourguignonnes de l’époque — à l’exception des plus grandes comme Dijon, Autun, Chalon ou Beaune. Dans ce coin perdu du duché, les ducs ne se montrent que très peu, seuls Philippe le Bon (en 1434) et Charles le Téméraire (en 1470) daignent y mettre les pieds. Le château est généralement occupé par un capitaine et sa garnison. Le bailli et sa famille y résident également.
Après la mort de Charles le Téméraire, les troupes de Louis XI rasent la ville. Mais, à la faveur du mariage non consommé entre la petite-fille de Charles, Marguerite d’Autriche, et le roi de France, la ville revient en 1493 dans le giron bourguignon, disons : habsbourgeois. Ce n’est qu’à partir de 1761 que le comté fait partie du royaume de France.