Florence Griswold war die jüngste Tochter von Helen Powers Griswold und Schiffskapitän Robert Harper Griswold. Als eine der ältesten und reichsten Familien von Old Lyme genossen die Griswolds ein privilegiertes Leben, bis wirtschaftliche Schwierigkeiten das Schicksal der Familie veränderten. Helen beschloss, das Haus der Familie in eine Abschlussschule für junge Damen umzuwandeln und eröffnete 1878 die Griswold Home School für Mädchen, in der Florence zusammen mit ihrer Mutter und zwei Schwestern unterrichtete. Während ihres ganzen Lebens war Florence weiterhin mit finanziellen Schwierigkeiten konfrontiert, und in den späten 1890er Jahren befand sie sich allein auf dem Gehöft der Familie. Sie verwandelte die Schule in eine Pension und begann, Zimmer für 7 Dollar pro Woche zu mieten.
1899 mietete der kürzlich aus Europa zurückgekehrte Künstler Henry Ward Ranger, inspiriert vom Beispiel der französischen Barbizon-Künstler, ein Zimmer bei Griswold (der in Old Lyme immer noch liebevoll als ‚Miss Florence‘ bezeichnet wird) und ermutigte seine Bekannten, dies ebenfalls zu tun. Über 135 amerikanische Künstler kamen von 1899 bis in die 1930er Jahre in das Florence Griswold House und wurden eingeladen, eine Tafel an die Wände oder Türen des Hauses zu malen. Über 43 Tafeln schmücken jetzt das Haus, mit einer Konzentration im Speisesaal.
Childe Hassam kam 1903 an und er lud wiederum Willard Metcalf ein, der 1905 ankam. Zu den Künstlerinnen, die bei Miss Florence blieben und malten, gehörten Matilda Browne und die Schwestern Lydia und Breta Longacre. Viele andere amerikanische impressionistische Maler sommerten in der Kolonie in Griswolds Haus, darunter Wilson Irvine, der 1914 ankam. Auch Edward Charles Volkert, der als „Amerikas Viehmaler“ bekannt wurde, und William Henry Howe, ein weiterer Viehmaler, der dort wegen seines Alters als „Onkel“ bezeichnet wurde. Ellen Axson Wilson, erste Frau von Präsident Woodrow Wilson, kam als Kunststudentin und freundete sich mit Griswold an; 1914 besuchte Griswold die Hochzeit der Präsidententochter Jessie Woodrow Wilson Sayre. Viele amerikanische impressionistische Gemälde dieser Zeit sind von Themen in und um das Griswold House.