Дворец в плане представляет равносторонний треугольник, углы которого решены в виде башен, а те завершаются фонарями с полусферическими куполами (исследователи полагают, что Фельтен мог следовать образу Лонгфортского дворца, построенного в 1591 г. архитектором Джоном Торпом). Помещения располагались по периметру здания. В образовавшийся внутри треугольник вписан круг, которому во втором этаже соответствует центральный Парадный зал. Снаружи его легко вычислить по внешним стенам, напоминающим круглую корону. И ныне в зале, давно приспособленном под читальный зал учебного заведения, есть все, «способное напомнить» историю. Напротив входа висит парадный портрет императрицы совершенно ярмарочного свойства. Под ним – огромная лягушка, под брюшко которой студенты складывают копеечки «на счастье». Люстра жестко стилизована под Георгиевский крест, на куполе, прорезанном овальными окнами, ярко раскрашены лепные филенки и гирлянды.
Архитектура дворца значительна и сурова. Здание, небольшое по размерам (каждая сторона немногим более 40 м), выразительно своим компактным планом и силуэтом, что в целом определяет общую монументальность сооружения. Позднее, в XIX в., здание было искажено пристройкой трех двухэтажных корпусов и приспособлено под богадельню. Внутренняя отделка дворца никак не соответствовала его суровому облику и не содержала ни малейшего намека на готическую архитектуру.
6 июня 1777 г. в присутствии Екатерины II, всего двора и шведского короля Густава III, чтобы напомнить ему о военном могуществе России, рядом с дворцом состоялась торжественная закладка храма. Возведение храма было завершено к 10-й годовщине победы русского флота в Чесменском сражении. 24 июня 1780 г. церковь освятил архиепископ Новгородский и Санкт-Петербургский Гавриил (Петров). Освящали церковь торжественно, в присутствии государыни Екатерины II, наследника цесаревича Павла с супругой, генералитета и придворных. Среди гостей под именем графа Фалькенштейна был путешествующий инкогнито по России Иосиф II – император Священной Римской империи. В камер-фурьерском журнале, куда заносились все события придворной жизни, так описано торжество освящения церкви: «Ее императорское величество и их императорские высочества благоволили шествовать… при колокольном звоне в новопостроенную церковь… а при входе их встретил у дверей с животворящим крестом, в церковном облачении архиепископ Гавриил… с прочим знатным духовенством… По высочайшем прибытии в оную началось освящение церкви, а по совершении… производилась с земляного вала пушечная пальба». Потом были отслужены Божественная литургия и соборный благодарственный молебен. «После всей Божественной службы в церкви Синода члены и прочее духовенство приносили ее императорскому величеству и их императорским высочествам поздравления и жалованы к руке, и в то время производилась с земляного вала пушечная пальба». Тогда же церкви было дано название «Чесменская». Так же стал называться и дворец.
В 1782 г. Екатерина передала Чесменский дворец Капитулу ордена Святого Георгия, основанному ею в 1768 г. Во дворце помещалось управление орденом, его архив, печать, орденская казна. Под председательством самой императрицы (гроссмейстера ордена) здесь заседала георгиевская Дума. На заседаниях Думы уже удостоенные орденом офицеры, присутствующие в столице, решали, кому присудить ордена III и IV степени (первые две степени жаловались только императором). Дума гласно обсуждала каждого депутата и голосовала. Для предоставления к пожалованию необходимо было получить две трети голосов. Орден был военный, присуждался лишь в годы войны за боевые заслуги или за выслугу лет.
Первыми кавалерами были герои Турецкой войны: сначала сама Екатерина, затем – будущий фельдмаршал Румянцев, князь Репнин и генерал Боур. Шестеро из двадцати пяти кавалеров I степени, существовавших за всю историю ордена, были удостоены им за турецкие победы: Орлов за Чесму, Панин за взятие Бендер, Долгоруков-Крымский за овладение Крымом, Потемкин за взятие Очакова, будущий генералиссимус Суворов за победу при реке Рымнике, Репнин за победу при Мачине. В Чесменском дворце георгиевцы заседали до 1811 г., после чего их перевели в Зимний.
После кончины в 1796 г. Екатерины II Чесменский дворец пришел в запустение. Павел I хотел было во дворце устроить богадельню с лечебницей для увечных воинов, как на Каменном острове. Но только из этого проекта ничего не вышло. Комиссия, составленная для этого случая в 1799 г., нашла дворец неудобным для «устроения в нем лазарета Мальтийского ордена», после чего и последовало 3 сентября того же года высочайшее повеление «о возвращении оного дворца в Придворное ведомство».