Таврический дворец стал своеобразной архитектурной одой в честь достижений и побед Потемкина, символом величия и славы Российской империи. Художественный образ дворца, увиденный глазами современника, запечатлен тонким знатоком искусства поэтом Г.Р. Державиным в описании потемкинского праздника, сделанного им по заказу владельца: «Кто хочет иметь о нем понятие — прочти, каковы были загородные дома Помпея и Мецената. Наружность его не блистает ни резьбой, ни позолотой, ни другими какими пышными украшениями. Древний изящный вкус — его достоинство; оно просто, но величественно». Для торжественного бала в Таврическом дворце Державин сочинил также по просьбе Потемкина четыре хора на музыку Осипа Козловского.
Для царственных гостей в огромной зале, рассчитанной на пять тысяч человек, была устроена галерея, поддерживаемая двумя огромными колоннадами. В первой между колоннами было сделано по три ложи для знатных особ женского пола, убранных снаружи подзорами из белой и зеленой тафты. От подзоров вниз по столбам спускались занавесы из такой же тафты, так что каждая ложа представлялась смотрящим снизу прекрасным балдахином. По обеим сторонам противоположной колоннады между последними двумя столбами были поставлены громадные зеркала, увитые зеленью и цветами.
Великолепная эстрада отделяла галерею от зимнего сада. Сквозь колонны был виден райский уголок, наполненный фантазией английского садовника Гульда: живыми лаврами, миртами и другими южными деревьями, усыпанными цветами и плодами. «Под мирною тению их, — писал Державин, — инде как бархат стелется дерн зеленый, там цветы пестреют, здесь излучистые песчанные дороги пролегают, возвышаются холмы, ниспускаются долины, протягиваются просеки, блистают стеклянные водоемы; везде царствует весна, и искусство спорит с прелестями природы». В кустарниках гости могли видеть гнезда соловьев и других поющих птиц — воздух был наполнен их пением. В траве стояли большие стеклянные шары, наполненные водой, в них плавали золотые и серебряные рыбки.
В саду был устроен храм с жертвенником, на нем возвышалась статуя Екатерины из белого мрамора «на порфировом подножии с златой надписью “Матери Отечества и мне премилосердой”». К храму вел затейливый лабиринт, как знак того, что «не легко достигнуть подобного обожания и славы». По тропам лабиринта расставлены статуи славных в древности мужей, мраморные вазы. На зеленом лугу, позади алтаря, сооружена высокая хрустальная «алмазовидная, обделанная в злато пирамида» с вензелем императрицы, украшенная висящими гранеными цепочками и венцами из разных драгоценных каменьев. За обелиском в самой глубине сада — зеркальная пещера, внутри нее колодец и резная купель из паросского мрамора выше человеческого роста.
Покои Таврического дворца не отставали по роскоши и изобретательности украшения от зимнего сада. Художники несколько недель трудились над отделкой и убранством дворца. Весь город только и обсуждал, сколько денег потратил на празднество Потемкин, как обставлены комнаты дворца, что устроено в зимнем саду, сколько провизии и какой закупают служащие князя по всему Петербургу. Увиденное превзошло все ожидания. Залы блистали картинами, коврами, великолепными обоями, различными редкостями и диковинками, поражавшими взгляды любопытных гостей. Особое впечатление произвел золотой слон с необычными часами на спине, шевеливший глазами, ушами и хвостом. Была еще одна диковинка — удивительные часы в форме высокого бронзового дерева, на котором находились павлин, петух, сова и разные малые животные в натуральную величину, искуснейшей работы из металла. Животные, когда часы отмечали время боем, двигались и даже кричали. Как писал Державин, «казалось, что все богатство Азии и все искусство Европы совокуплено там было ко украшению храма торжеств великой Екатерины».
Гостей на празднике собралось множество. Сам хозяин ожидал императрицу в залах дворца. На нем был малиновый фрак и епанча из черных кружев стоимостью в несколько тысяч рублей, столь любимые им бриллианты сияли везде. Унизанная ими шляпа была так тяжела, что князю пришлось передать ее адъютанту. К 6 часам пополудни торжественно прибыла Екатерина II со всем императорским семейством, придворными дамами и кавалерами. Все были в маскарадном платье. Кавалеры оделись в испанскую одежду, а дамы — в греческую, их чалмы и платья были богато вышиты золотом, пояса и ожерелья блистали драгоценными каменьями.
При появлении государыни от алтаря выступил хоровод, состоящий из двадцати четырех пар юношей и девушек из знаменитых дворянских родов России, среди них были и внуки Екатерины — Александр и Константин. Эта великолепная кадриль открыла бал польским танцем. С хоров грянула торжественная песня Державина «Гром победы раздавайся»: