Журналист и издатель, известный масон Н.И. Новиков принимал Баженова в масонский орден, наследнику престола Павлу Петровичу (не любимого его матерью, фактически укравшей у него русский престол) он передавал масонские книги, напечатанные в Москве, много общался с масонами разных рангов и степеней. На самом деле масоны не успокоили душу Баженова, а еще более усложнили его психическое состояние и жизнь. Обострился конфликт с известным богачом Демидовым, требовавшим срочно вернуть ему долг. Баженову не удалось получить отсрочку в уплате долга или ссуду на его оплату. Он был фактически полностью разорен; говорили, что это была месть ему от Екатерины II за его общение с масонами и доверительные отношения с цесаревичем Павлом, не любившем ее. Баженов оказался в опале, был вынужден уйти в отставку, в 1780-х – начале 1790-х гг. ему пришлось очень много работать (особенно в Москве) по заказам частных лиц. Жизнь у него была трудной, но его работа, творения снова прославили его, дали силы жить, содержать семью, созидать. Он в Москве разработал проект Павловской больницы, возвел колокольню и трапезную храма во имя иконы «Всех Скорбящих Радость» на ул. Большая Ордынка, дом Юшкова на Мясницкой улице, а также восхищающий взор до наших дней дом Пашкова (теперь старый корпус Российской государственной библиотеки). Хотя императрица не благоволила Баженову, он был востребован как несравненный мастер в архитектурном деле, имел много частных заказов. Именно труд и творчество помогали ему пережить трудности.