Замок находится в одноименной французской коммуне округа Шароль в регионе Франш-Конте. Он был классифицирован 21 января 1946 года как исторический памятник и, таким образом, помещен под охрану.
Замок был центром одного из крупнейших поместий в этом регионе с 14-го века до Французской революции. В 1380 году Филибер де Леспинасса превратил существующий форт, который использовался для сбора долга, в замок с круглыми башнями.
В последующий период замок несколько раз переходил из рук в руки. 4 ноября 1722 года Бернар де Ноблет приобрел замок по цене 160 000 ливров и 1800 бутылок вина. Бернар де Ноблет стал бароном Клэйета, а также бароном Тремонта. В 1736 году Ла-Клайет стал графством, и с того времени замок принадлежит одной семье.