La Société historique du comté de Brome, fondée en 1897, exploite un musée et un centre d’archives et possède sept bâtiments répartis sur deux campus. Le musée et le centre d’archives recèlent des trésors qui rappellent la fondation du village par les loyalistes, l’histoire agricole et commerciale ainsi que des artefacts militaires rares, dont un avion Fokker D.VII datant de la Première Guerre mondiale. L’édifice du centenaire du Canada, le centre d’archives et le très populaire Musée pour enfants, situé dans l’édifice Marion L. Phelps, sont ouverts toute l’année, du lundi au samedi. L’ensemble du campus est ouvert du lundi au dimanche, de la fin de semaine de la journée des Patriotes jusqu’à l’Action de grâce.

La première église anglicane, l’église Saint-Paul, a été construite en bois en 1842, à la demande des premiers colons anglais du comté de Brome. En 1892, une deuxième église Saint-Paul a été construite, principalement en brique, afin de répondre au nombre croissant des membres de la congrégation. Enfin, en 1941, à la suite d’un incendie, l’architecte C.L. Douglas a bâti une troisième église de style gothique pour remplacer la précédente. Dans ce bâtiment, les vitraux, qui rappellent les ancêtres américains du village, et l’orgue Casavant historique retiennent particulièrement l’attention des visiteurs.

Ce magasin général a été construit en 1856 par Luke Knowlton. La famille Brouillette l’a ensuite exploité de 1919 à 1994. On remarquera, à l’intérieur, le plafond de tôle original.

Construit en 1852, ce bel édifice en pierre des champs fut jadis un temple maçonnique. Il appartenait à l’origine à Israel England, homme d’affaires né dans le Vermont, venu de Dunham pour s’installer à Knowlton en 1840, à l’âge de 20 ans. M. England travaillait dans l’industrie de la tannerie sur des terres qu’il avait achetées de Paul Holland Knowlton.

Érigé en 1843, ce bâtiment appartenant à Israel England lui servait de tannerie. En 1903, un incendie a détruit le bâtiment, ne laissant que les fondations en pierre. Il fut ensuite reconstruit et utilisé comme Club House; il portait alors le nom de Dug Out. Par la suite, il a abrité une entreprise florissante, le Crandall Auto Body. Enfin, en 2009, il a été restauré puis est devenu le Star Café que l’on connaît aujourd'hui.

La bibliothèque commémorative Pettes a été la première bibliothèque publique rurale gratuite au Québec. Elle a été construite en 1893 et inaugurée en 1894 par Narcissa Pettes à la mémoire de son mari, Nathaniel Pettes (député fédéral de 1874 à 1878). Une bonne partie des livres faisant partie de la première collection de la bibliothèque a été offerts par des résidents de Knowlton, car beaucoup d'entre eux étaient très fortunés et possédaient une bibliothèque personnelle à la maison.

Construit en 1849, cet édifice était connu sous le nom de Blinn’s Inn. Il s’agissait de la première halte de diligence du vieux chemin Magog traversant le col de Bolton et du premier établissement public du village proposant hébergement, restauration et boissons. Au début des années 1900, James M. Robinson, de North Sutton, a acheté et rénové l'auberge, notamment en remplaçant les revêtements de sol par des planchers de bois franc et en ajoutant un troisième étage. Le bâtiment a été rebaptisé Hôtel Robinson et exploité comme tel jusqu’à la fin des années 1920. Aujourd'hui connu sous le nom d'Auberge Knowlton, ce bâtiment demeure le plus vieil hôtel en exploitation continue des Cantons-de-l'Est. À l'arrière et à la gauche de l'Auberge (bâtiment jaune), se trouve encore le lieu de forge utilisé par les diligences lors du passage par le col de Bolton.

Construite au début des années 1870 et appelée le Lake View House, l’Auberge a toujours représenté une destination de choix pour les visiteurs. Récemment rénovée, elle a retrouvé sa splendeur d’antan. On ne peut faire autrement que d’admirer son magnifique mur historique dans l’entrée.

Cette résidence de brique, connue sous le nom de Darley Place, a été construite vers 1860 par Paul Holland Knowlton pour sa nièce et fille adoptive Sarah Knowlton et son mari Hiram Sewell Foster. Ce dernier, dont la famille fait partie des pionniers de la région, a été un promoteur et un constructeur important des Cantons-de-l’Est. La maison a par la suite été habitée par son fils, Thomas Knowlton Foster. La résidence avait à l’origine deux étages, mais le second a été démoli plus tard.