Situé à flanc de coteau, le village de Pin domine la vallée de l’Ognon,
ce qui lui a valu de bonne heure l’installation d’un château fort.
En 1287, Guillaume d’Apremont reconnait tenir Pin et sa prévôté en fief du comte de Bourgogne. La seigneurie passe aux Scey.
Après la mort de Charles le Téméraire en janvier 1477 sous les murailles de Nancy, les troupes de Louis XI entrent en Franche-Comté. Une bataille se déroule le 17 juin sur le pont entre Pin et Emagny. Le corps de logis est reconstruit avant la fin du XVe siècle.
À la fin du XVII e siècle, Philippe-Eugène Chifflet, fils du grand humaniste Jean-Jacques Chifflet, achète la seigneurie de Pin à la famille du Chatelet. Il a eu pour parrain Philippe IV d’Espagne et pour marraine l’infante Isabelle.
Sa fille Catherine Chifflet (1671-1708) épouse Christophe de Chaillot. C’est au profit de leur fils, Christophe-Ignace de Chaillot, président à mortier au parlement de Besançon, que les terres de Pin sont érigées en marquisat en 1746.
« J’ai toujours vu avec peine la différence que certaines lois mettaient entre les hommes dont le vrai principe est d’être libres ».
comme écrivait le secrétaire d’État de Boulogne à l’Intendant Lacoré
Fin 1771, la Marquise de Chaillot, née Jeanne Bonnaventure de Villersvaudey, affranchit les habitants de Pin de leur servitude.
Le château actuel aurait été construit en 1738 et 1739 par Christophe-Ignace, Marquis de Chaillot, premier président de Besançon, en remplacement d’un édifice ne correspondant plus aux conditions de vie de l’époque.
Après la révolution, sa petite-fille, Olympe de Chaillot (1788-1869) épouse Rodolphe de Buyer, maître de forges, l’un des plus importants industriels franc-comtois de son époque. Leur fils, Arthur reprend les affaires de son père. En 1900, il trouve du charbon à 830 m de fond et fait creuser un puit de 1010 m de profondeur.