Gdyby św. Biskup powrócił z Lyonu, gdzie umarł, byłby wedle powziętego zamiaru resztę życia przepędził na osobności. W tym celu kazał wybudować małą pustelnię, na brzegach jeziora annezińskiego, o pięciu czy sześciu celkach, i odnowił starożytną kaplicę stojącą nieopodal tego miejsca. W bliskości pustelni znajdował się klasztor benedyktyński, w którym Święty zaprowadził reformę. Miał on wielką przyjemność obcować z pobożnymi mieszkańcami tego ustronia, jakby ze swymi braćmi, lub ukochanymi dziatkami.

Ten zamiar życia w samotności uśmiechał mu się, i Święty myślał też o nim z rozkoszą. Rozmowy jego w tym przedmiocie z przełożonym wzmiankowanego klasztoru tchnęły radością, jaka napełniała jego serce. "Gdy się przeniesiemy do naszej ukochanej pustelni, mówił św. Biskup, będziemy tam służyć Bogu, paciorkami i piórem. Tam cieszyć się będziemy świętym wypoczynkiem i dokonamy na chwałę Bożą i na pożytek dusz tego, z czym się w moich myślach noszę od lat przeszło 30-tu i czego używałem ciągle w moich kazaniach i w rozmyślaniach prywatnych. Mam już przygotowanych wiele uwag w tym przedmiocie; ale ufam, że prócz tego, udzieli nam Bóg więcej jeszcze swego światła, i że dobre myśli będą nam spadać z nieba tak obficie, jako płatki śniegu, pokrywające w zimie wszystkie góry nasze.