Florence Grisold var den yngste datter af Helen beføjelser Grisold og skib kaptajn Robert Harper Grisold. Som en af Old Lyme ældste og rigeste familier, Grisol nød et privilegeret liv, indtil økonomiske vanskeligheder ændrede familiens formuer. Helen besluttede at konvertere familiens hjem til en afsluttende skole for unge damer og åbnede Grisvold Home School for Girls i 1878, hvor Florence sammen med sin mor og to søstre underviste. I hele sit liv ville Florence fortsætte med at konfrontere økonomiske vanskeligheder, og i slutningen af 1890 ‘ erne befandt hun sig alene på familiens gård. Hun forvandlede skolen til et pensionat og begyndte at leje værelser til $7 om ugen.
i 1899, kunstner Henry afdeling Ranger, for nylig vendt tilbage fra Europa og inspireret af eksemplet med de franske Barbisonkunstnere, lejede et værelse fra Grisvold (som stadig kærligt omtales som ‘Miss Florence’ i Old Lyme) og opfordrede sine bekendte til at gøre det samme. Over 135 amerikanske kunstnere gik ombord i Florence Grisold House fra 1899 til 1930 ‘ erne og blev inviteret til at male et panel på husets vægge eller døre. Over 43 paneler pryder nu huset med en koncentration i spisestuen.
Childe Hassam ankom i 1903, og han inviterede til gengæld Vilard Metcalf, der ankom i 1905. Blandt de kvindelige kunstnere, der blev og malede hos Miss Florence, var Matilda brun og søstrene Lydia og Breta Longacre. Mange andre amerikanske impressionistiske malere sommer på kolonien, i Grisvolds hus, blandt dem Vilson Irvine, der ankom i 1914. Også Edvard Charles Volkert, der blev kendt som” Amerikas kvægmaler”, og en anden kvægmaler, der der blev omtalt som” onkel ” på grund af sin alder. I 1914 deltog han i brylluppet med Præsidentdatteren Jessie. Mange amerikanske impressionistiske malerier fra den æra er af emner i og omkring Grisvoldhuset.