En 1145, l'on trouve la trace d'un seigneur de Vollore du nom d'Arbert dont l'un des descendants, également nommé Arbert, eut une fille et unique héritière dénommée Blanche de Vollore.

En 1248, Blanche de Vollore épousa Etienne de Thiers, et par cette union le château de Vollore passa dans la branche cadette de la maison de Thiers.

Vers 1338, à la mort de Louis de Thiers qui n'avait pas d'enfants, sa soeur Marguerite en devint propriétaire.

Vers 1346, elle épousa Pierre de Besse de Bellefaye et le château passa en la maison de Bellefaye. Ils eurent deux enfants : Guillaume ( mort sans postérité ) et Marguerite.

En 1384, Marguerite de Bellefaye épousa Oudart de Chazeron et fit passer le château en la maison de Chazeron, dans laquelle il restera jusqu'en 1580.

Le 2 septembre 1580, Claude de Chazeron épousa Gaspard II de Montmorin Saint-Hérem et le château passa dans la maison de Montmorin Saint-Hérem et il y restera jusqu'en 1801.

A cette date le château, qui n'avait changé de famille que par mariages, est vendu pour la première fois par le Marquis de Montmorin Saint-Hérem à Jean-Louis Mignot.

En 1806, ce dernier le revendit à l'Abbé Dumas du Biel, qui le céda à son frère Juste Sébastien Dumas, lequel eut deux petit-fils : Arthur et Camille.

Arthur Dumas ( le dernier Dumas de Vollore ) eut une fille : Marie-Louise, qui épousa le 17 juillet 1900, à Vollore, Gilbert de Pusy La Fayette ( arrière petit-fils du Général Marquis de La Fayette ). C'est pour ce jeune ménage que fut créé, par René Moreau, l'appartement qui aujourd'hui porte son nom.

Madame Aubert La Fayette, actuelle propriétaire du château, est la petite-fille de Marie Louise de Pusy La Fayette.

Quant à Camille Dumas, frère cadet d'Arthur, il épousa une Andrieux, propriétaire du château de Vaulx et prit le nom de Dumas de Vaulx reprenant ainsi le nom d'une de ses ailleules ( son grand-père Juste Sébastien Dumas descendait de Gabriel Dumas, marié au XVII ème successivement à une Demoiselle de Chazeron, sans descendance, puis à une de Vaulx ).