В 1892 году на месте бывшей Крестовской заставы встали могучие сорокаметровые водонапорные башни Мытищинского водопровода, построенные по проекту архитектора М. К. Геппенера, инженерные расчеты башен делал инженер В. Г. Шухов. Нижние пять этажей в них занимали различные служебные помещения, верхний этаж каждой башни был резервуаром, вмещавшим сто пятьдесят тысяч ведер. Из резервуаров Крестовских башен вода шла в центр города самотеком. С 1896 по 1914 год в одной из башен помещался созданный по инициативе Городской думы Музей московского городского хозяйства — предшественник нынешнего Музея истории Москвы, затем переведенный в другое помещение.
Архитектор чутко уловил символическое значение этого места и воплотил его в своем проекте: его две башни, общим силуэтом напоминавшие старинные крепостные башни, какими были и Кремлевские до XVII века, до того как на них установили шатровые завершения, создают образ заставы, въезда в город, а строгая красно-кирпичная кладка, расцвеченная имитирующей белокаменную резьбу белой покраской наличников, межэтажных поясов и верхнего аркатурного яруса, заставляла вспомнить русскую архитектуру XVII века.
В 1897 году началось строительство железнодорожной линии в Прибалтику, к незамерзающему латвийскому порту Вентспилс. Это название в тогдашней русской транскрипции звучало как Виндава. Поэтому московский пассажирский вокзал этой линии, построенный в 1899 году у Крестовской заставы в западной части площади, стал называться Виндавским. Этот вокзал, построенный по проекту архитектора Ю. Ф. Дитриха, очень понравился москвичам. В газетах появились хорошие отзывы. Здание Виндавского вокзала, в отделке фасадов которого были использованы элементы традиционного русского стиля дворцов XVII века, очень красив и наряден. Он составил с Крестовскими башнями интересный и гармоничный ансамбль.
Реконструкция вокзала в 1994 году вызвала у москвичей большую тревогу, поскольку «реконструированный» до этого Курский вокзал — также замечательное архитектурное произведение — был превращен в унылую «стекляшку». К счастью, Виндавский (с 1930 года — Балтийский, затем Ржевский, с 1946 года — Рижский) вокзал сохранил свой облик, и мы сейчас можем любоваться его первозданной красотой.
В начале XX века в восточной части площади возник рынок.
До 1940-х годов его называли Крестовским, затем он стал Рижским. В конце 1980-х — начале 1990-х годов ему выпала роль стать первенцем нашей рыночно-криминальной экономики, именно он познакомил москвичей с новым для них понятиями: рэкет и рэкетир. В 1991 году корреспондент одной из московских газет писал: «Рижский рынок включает в себя огромные околорыночные территории, где, как говорят, можно купить все: от гвоздя до самолета». Тогда его называли и «оплотом московской рыночной экономики», и «сборищем хапуг, мошенников, торговцев и спекулянтов всех рангов», «раковой опухолью района» (слова районного руководителя), «Нью-Хитровкой»… В 1991 году палатки и балаганчики Рижского рынка были снесены милицией. После реконструкции рижской барахолки над зданием рынка была установлена надпись с его названием лучших прежних времен: «Крестовский рынок».
В первые десятилетия XX века сложилась принципиальная планировка Крестовской площади. Организующую роль, уместность и красоту Крестовских башен прекрасно понимал и чувствовал крупнейший советский архитектор Г. Б. Бархин. Разрабатывая по Генплану 1935 года реконструкцию района, прилегающего к ним, он делал башни его композиционным центром и в то же время эффектным завершением проспекта, идущего из центра.
Но в конце 1930-х годов в связи с реконструкцией водопровода «миновала надобность в мешавших движению башнях, — пишет историк Москвы П. В. Сытин (кстати сказать, первый заведующий городского музея, помещавшегося в башне), — поэтому они были в 1939 году снесены». С их сносом город лишился архитектурно организованной красивой площади.