Варанс первоначально составила план сделать из юноши священника и уговорила его отправиться для этого в семинарию, но эти планы были не по душе Жан-Жаку. К тому же и преподаватели находили его малоспособным. Это облегчило Руссо задачу уговорить свою покровительёницу дозволить ему посвятить себя музыке. Он был определен в хор певчих в Аннеси и попал под руководство регента Леметра, тонкого знатока музыки, отличного преподавателя, но необузданного и беспорядочного человека. Руссо, всегда любивший музыку, многим обязан Леметру, и, по своему обыкновению, он горячо привязался к учителю. Когда же последний поссорился с настоятелем костела и тайно скрылся из Аннеси, Руссо последовал за ним с благословения Варанс, которая, по-видимому, имела свои причины временно удалить своего любимца. Ей предстояло путешествие в Париж с какими-то таинственными политическими поручениями. Руссо, однако, оставил Леметра в Лионе и возвратился в Аннеси, но уже не застал баронессы. Некоторое время он жил у нее в квартире, предавался уединенным прогулкам, наслаждался роскошной природой этого края и даже чуть не увлекся двумя молоденькими девушками, встреченными им на прогулке. Однако Варанс не возвращалась, и квартира ее пустела. Последняя прислуга, молодая горничная баронессы, оставила квартиру и решила отправиться домой, к родителям, которые жили в Бернском кантоне. Жан-Жак охотно принял ее предложение проводить ее на родину. Он любил пешеходные странствования, а в настоящем случае и перспектива увидеть родину и отца склоняла его к тому же. Побывав у отца в Нионе, он затем поселился в Лозанне и занялся преподаванием музыки, к чему был слишком мало подготовлен.
Он даже давал концерт, но, конечно, провалился. Неудачи в Лозанне заставили его перенести свою музыкальную деятельность в Невшатель. Уже более опытный, по природе музыкальный, старательно учившийся сам, Руссо успел в Невшателе приобрести уроки и давал их не без успеха. Здесь он встретил одного сирийского монаха, выдававшего себя за иерусалимского архимандрита и собиравшего пожертвования на религиозные учреждения Иерусалима. Руссо очень увлекся деятельностью монаха и примкнул к нему, но в Золотурне французский посланник, ранее бывавший на Востоке, уличил самозванного архимандрита и приютил у себя Руссо, который увлекся идеей поступить на военную службу. Посланник отправил его в Париж, где Руссо надеялся застать и Варанс.