La forteresse est construite à partir de l'an 1231 par le seigneur Arnaud de Marcilly, sur ordre du comte Guy IV de Forez qui finance la construction. Le site est couvert de bois et presque inaccessible. La bâtisse originelle est une maison forte ; mais elle est transformée en une véritable forteresse médiévale, faite pour être une barrière aux ambitions des puissants voisins de la seigneurie de Couzan, aux mains de la famille de Damas, liée à l'empereur germanique.

Son aspect était sombre et sévère, avec quatre tours rondes dominées par un donjon carré, sans ouvertures sur les flancs.

Un fils puîné d'Arnaud, Jean (Ier) de Marcilly († av. 1277), hérite de Chalmazel et se marie avec Guillemète Guerri avant 1248 (fille du bailli de Forez Fouchier Guerri, elle meurt vers 1283 ; par les Guerri, sont échus aux Marcilly des biens, terres et maisons souvent nommées la Ferrière, à Neulise, Bellegarde, St-Médard, St-Marcel...). Guillemète et Jean sont suivis de leurs fils : Jean (II) (né v. 1250-† 1284), Arnaud ou Pierre-Arnaud Jomar († v. 1286 ; marié à Béatrice, fille de Guichard Durgel de St-Priest, † ap. 1315), (ces deux frères, sans postérité), et Antoine (Ier) de Marcilly (né av. 1258-† v. 1323 ; marié à sa belle-sœur Aldine Durgel). Antoine laisse Jean de La Ferrière (né v. 1291-† entre 1338 et 1355), fils cadet, marié 1° 1321 à Catherine, fille de Guichard d'Oingt-Theizé, puis 2° 1324 à Aigline la Brune († ap. 1361), sœur de Perceval de Lavieu-Feugerolles ; et Girin (né v. 1283-† v. 1333), fils aîné, seigneur de Chalmazel, époux de Béatrice, fille d'Hugues Damas de Couzan. Girin fut le père, peut-être d'Alice Chasaleyra, femme de Guillaume de Cournon puis de Jean II de Rochefort (?), en tout cas d'Isabelle, prieure de Leigneux, d'Antoine, prieur d'Arnas, de trois autres nonnes et moine, et de leur frère aîné Jean (III) Marcilly, seigneur de Chalmazel, Ledit Jean (III) († v. 1361) hérita non seulement de Chalmazel, mais aussi des biens de son oncle Jean de La Ferrière, y compris ceux venus de sa première femme Catherine d'Oingt-Theizé ; il maria 1° N., puis 2° en 1336 Dauphine († 1383), fille de Bertrand de Saint-Nectaire et sœur d'Eracle qui fonda la deuxième maison de Roche-la-Molière en épousant l'héritière Catherine de Lavieu-Roche. De sa 1° femme inconnue, Jean (III) avait eu Catherine († av. 1370 ; mariée av. 1345 avec postérité à Aymar du Chier (à Allègre ?)), et de sa 2° épouse, Dauphine donc, il enfanta Béatrice (x 1364 Mathieu de Talaru ; Béatrice et Mathieu meurent vers 1382), Isabelle (x Blain Le Loup de Beauvoir), et Antoine (II) de Marcilly, sire de Chalmazel (né vers 1348-† 1370, sans postérité).

En 1372, Béatrix, la dernière des Marcilly, qui épouse Mathieu de Talaru en 1364, hérite donc de son frère Antoine de Marcilly, mort à l'âge de moins de 25 ans sans héritiers directs. La seigneurie de Chalmazel passe ainsi aux Talaru, une ancienne famille noble du Lyonnais (cf. Talaru à Saint-Forgeux).

Après la destruction du château de Marcilly, les Talaru se replient au château de Chamazel. En 1400 ils font construire les remparts sous forme d'une enceinte pentagonale et ajoutent des mâchicoulis au donjon. Après l'incorporation du comté de Forez dans le domaine royal à la confiscation des biens du connétable de Bourbon en 1523/1531, les Talaru servent le roi dans ses armées.

À la Renaissance, le marquis de Talaru, de retour des guerres d'Italie, fait ajouter des embellissements de style Renaissance : façade ajourée, galeries de la cour intérieure et peintures de la chapelle, sculptures.

Mais les hivers sont rudes, et à partir de 1533, les Talaru préfèrent habiter dans leur château d'Écotay, ou dans celui de Saint-Marcel-de-Félines qui leur échoit par mariage en 1559. Chalmazel est transformé en résidence d'été et commence à être délaissé.

Au XVIII^e siècle, les Talaru héritent par mariage du château de Chamarande (près d'Arpajon, au sud de Paris), et ils s'y installent pour être plus près de Versailles où Louis de Talaru a des fonctions importantes à la Cour du roi et à l'armée. Ils délaissent le château dès 1650, ne faisant exécuter que les travaux les plus urgents ; le château commence à se détériorer lentement mais sûrement.

En 1850, Louis-Justin, le dernier des marquis de Talaru, 25^e seigneur de Chalmazel, pair de France et ambassadeur de France en Espagne, sans héritier, lègue le château et les bois à la communauté des Sœurs de Saint-Joseph afin d'y établir un hôpital pour le canton et de soigner les malades.

Les sœurs entreprennent quelques travaux de réfection (toiture, chemin de ronde, reconstruction d'une tour) et d'aménagement (chambres d'hospices et services hôteliers). Plus tard elles le transforment en pensionnat pour les enfants de l'école de Chamazel. Elles abandonnent définitivement le château en 1972 et le louent à la commune, à charge de l'entretenir et de l'ouvrir au public durant la belle saison.

Le château est racheté en 2002 par l'homme politique Alain Suguenot et sa famille, ayant la volonté de le restaurer, de l'ouvrir à la visite et de créer des chambres d'hôtes.

Le château, d'aspect médiéval, a conservé des éléments de la maison forte de l'an 1231, mais avec toutes les modifications et ajouts successifs apportés par les Talaru au cours des siècles : meurtrières, base des murailles, donjon, chemin de ronde à mâchicoulis. Mais il est mâtiné d'éléments renaissance : façade, cour intérieure, galeries, chapelle.

Il se visite de juin à septembre, et propose, à la location, 5 chambres d'hôte historiques dont une suite.