Boissezon fut un village fortifié et garde quelques restes de murailles ... Un peu plus loin, Noilhac découvre son église Notre-Dame qui appartint aux bénédictins de Castres et qui possède un portail roman à triple voussure.

Arrivé sur Castres, vous pourrez apprécier l'église Saint-Jacques-de-Villegoudou qui garde le souvenir d'un hôpital de pèlerins de Compostelle, aujourd'hui Villégiale Saint-Jacques, signalée par la statue du pèlerin de l'Autan et qui se trouvait avant l'entrée de la ville, sur la rive gauche de l'Agout. L'église date de 1626 et a été remaniée plusieurs fois depuis, mais son clocher, un donjon carré, est, lui, du XIVe siècle. A l'intérieur, beau mobilier classique, dont un Saint Bruno peint par Lesueur. Aux alentours, nombreuses maisons commerçantes du XVIe au XVIIIe siècles. L'une d'elles était un hôpital Saint-Jacques tardif, fondé par un riche marchand, Pierre Ders. L'étrange nom de Villegoudou vient probablement d'une villa romaine du Bas-Empire : Villa Gothorum (la ferme des "wisi" goths).

On admirera les vieilles maisons castraises qui bordent l'Argout, enjambé par 4 ponts qui jouèrent un rôle important dans le développement de la ville.

Des bâtiments épiscopaux subsistent au bord du fleuve datant de la période où Castres fut évêché (de 1317 à 1790) : au bord du fleuve, la tour romane de l'abbatiale, bordée d'un jardin à la française et, à côté, le palais de l'évêque (1666, dû à Mansart) devenu à la fois hôtel de ville et musée. Si le temps vous le permet, il faut voir le fameux musée Goya, logé dans l'ancien évêché et qui est riche de trois portraits de lui. On pourra voir aussi un Philippe VI de Vélazquez et des primitifs espagnols des XIVe et XVe siècles.

Flâner dans la vieille ville vous permettra de multiples découvertes qu'on ne peut toutes citer ici mais tout particulièrement : le donjon et le cloître XIIIe siècle de l'ancien couvent des Cordeliers devenu collège (Rue Rubaud) - l'hôtel de Nayrac, style toulousain de la Renaissance (rue Frédéric-Thomas) - l'hôtel Viviès (rue Chambre de l’Édit) du XVIIe siècle - et, à côté de l'hôtel de ville, la riche cathédrale de Saint-Benoît. Édifiée en 1718, par l'évêque contre-réformateur Mgr de Tuboeuf sur l'emplacement de l'ancienne abbaye, elle est baroque. Son mobilier en fait un véritable musée : à voir par exemple un Saint Jean-Baptiste de Poussin et des tableaux de l'école toulousaine, dont ceux du chevalier de Rivalz. On ne manquera pas aussi  une vue sur le théâtre municipal et un petit coup d’œil sur  la maison natale de Jean Jaurès.