Двор Ближних пещер поддерживается опорной стеной, названной «Дебоскетовой» (по имени инженера Даниила Дебоскета, в середине XVII века укрепившего косогор террасами). В 1781 году работы «по укреплению горы» производились по проекту инженера, генерал-майора Тучкова. Ныне существующая подпорная стена была возведена в 1784–1785 годах, возможно, по проекту военного инженера Шарля де Шардона. В 1810-е годы выступающие части подпорной стены украсили три ампирные беседки-ротонды. От одной из них, переделанной в 1869 году под вход в галерею, ведущую к Дальним пещерам, в овраг между холмами спускается лестница. Далее мощеная дорожка, по обе стороны которой устроен розарий, ведет к колодцам преподобных Антония и Феодосия. В 2002 году над колодцами были возведены часовни.
У выхода из Лавры к Днепру стоит храм в честь иконы Божией Матери «Живоносный Источник», окруженный со всех сторон крепостной стеной.
В 1914–1915 годах на этом месте была построена часовня над артезианским колодцем, устройство которого предполагалось в целях улучшения дренажа пещерных холмов. Ее строительство связано с именами лаврского архитектора Евгения Ермакова и инженера-гидротехника С. Коклика, много поработавших для благоустройства Киево-Печерской Лавры. Однако революционные события не дали возможности довести этот проект до конца. Во многом часовня так и осталась незавершенной. Когда в советские годы монастырь был разорен и ликвидирован, часовню разрушили, и долгое время она находилась в запустении.
На этом месте из остатков часовни монастырем была построена освященная в 2001 году церковь в честь иконы «Живоносный Источник» – храм, в котором совершаются требы для мирян: крещение, венчание и другие, служатся ежедневные молебны.