Fu in Italia la prima volta nel 1772, poiché condannato a morte dal Parlamento di Aix in seguito all'affaire di Marsiglia e giustiziato in effigie per delitto di sodomia e tentato avvelenamento. Fuggì con la sua amante, la cognata canonichessa Anne-Prospère de Launay ma nel dicembre fu arrestato e detenuto nel forte di Miolans: ne evase cinque mesi più tardi. Tra il 1775 ed il 1776 fu di nuovo in Italia e vi si fermò più a lungo. Fu braccato dalla corte di giustizia di Lione in seguito alla denuncia dei parenti delle cinque ragazze assunte al suo servizio e poi coinvolte nelle dissolutezze che resero famigerato il castello di La Coste. Partito in compagnia del suo servitore Carteron, lasciò disposizioni al suo avvocato perché gli facesse pervenire la corrispondenza, viaggiando in incognito col nome di conte di Mazan. Arrivato a Roma, dopo aver fatto alcune volte la spola fra la capitale e Napoli decise di tornare in Francia, vinto dalla noia. Si fermò a Grenoble e riuscì a rientrare a La Coste ma nel 1777 venne arrestato a Parigi e trasferito nella torre di Vincennes, dove restò per tredici anni in completo isolamento. Fu qui che si dispose a mettere in bella forma gli appunti sui quali aveva investito molte energie. Dopo la sua liberazione, avvenuta nel 1790, si impegnò risolutamente nel campo delle lettere ma non pensò più ai suoi viaggi, che furono pubblicati soltanto nel 1967.