L'édifice qui abrite ce musée a été légué à la Société historique de Stanstead par la famille Colby. Cette magnifique résidence de style néo-classique a été construite en 1859. Le mobilier, les textiles, les peintures et les objets d'art témoignent des quatre générations de Colby qui y ont habité. De magnifiques jardins victoriens agrémentent le parterre de la résidence et peuvent être visités. Un salon de thé est ouvert au public.