Nel 1888 Loeser si stabilisce a Firenze, dove incontra e sposa la giovane pianista tedesca Olga Lebert Kaufmann. La loro residenza fiorentina nella quale Loeser riunì la sua importante collezione di arte italiana del Rinascimento, Villa Torri di Gattaia, divenne presto un luogo di incontro privilegiato per intellettuali e amanti d'arte di tutto il mondo.
Appassionati di musica venivano invitati alla villa per assistere a concerti del Lener String Quartet, con cui Olga Loeser spesso suonava. Loeser, inoltre, fu trai primi a riconoscere il talento artistico di Cézanne e ad acquistare i suoi dipinti, che collocò nelle stanze private della Villa.

Charles Loeser morì durante un soggiorno a New York nel 1928, alla vigilia del suo ritorno a Firenze. È sepolto al cimitero degli Allori.

Accoglie oggi la International School of Florence.