Исходя из этого государственного заказа, Финляндское общество переносных построек «Сандвик» (главный архитектор Гейер Федор Генрихович) из финского города Гельсингфорса в 1894–1895 гг. спроектировало и построило казенную разборную деревянную гостиницу под названием «Интернационалъ» на 628 жилых номеров. Она находилась на Выставочном шоссе близ нижнегородского вокзала и состояла из 8 больших гостиничных павильонов («Россия», «Европа», «Америка», «Азия», «Африка» и «Австралия»), а также павильона для ресторана и читального зала. Вся гостиничная мебель была также создана фирмой «Сандвик». Построенные здания были обеспечены водой и освещались электричеством. Эта гостиница сама являлась экспонатом Всероссийской выставки 1896 года и была удостоена серебряной медали выставки. А уже 22 августа 1896 года первый директор КМВ В. А. Башкиров отправился на Нижегородскую выставку, которая закрывалась через неделю, и договорился о перевозке разборной гостиницы «Интернациональ» на КМВ. Весной 1897 года на трех группах КМВ под руководством специалистов из фирмы «Сандвик» было установлено 10 деревянных жилых бараков, собранных из деталей бывшей выставочной гостиницы «Интернациональ» в Нижнем Новгороде. В Кисловодске Казенная барачная гостиница на 54 разноместных номера была сооружена на Казачьей горке. Она состояла из трех сборных двухэтажных бараков, по 18 номеров каждый.
Два прямоугольных барака под двухскатными крышами располагались близко друг за другом на линии меридиана (юг – север), а третий стоял немного в стороне, северо-западнее первых. Отдельный двухэтажный барак каркасно-щитовой конструкции имел на каждом этаже длинный коридор, освещенный широкими торцевыми окнами, по обеим сторонам которого располагались отдельные номера с окнами. На каждом этаже бокового фасада было по 7 прямоугольных окон. Здания располагались таким образом, чтобы в жаркий полдень окна всех номеров находились в тени. Восточные номера освещались до полудня, а западные – после, входное крыльцо находилось в центре восточного фасада каждого барака. Гостиница открылась для посетителей Кислых Вод в июне 1897 г. и была сдана в аренду частному управляющему. Один из бараков с суточными номерами предназначался специально для приезжих на время отыскания ими квартиры. Оставаться в этих номерах можно было не дольше 5 дней. Так как стоимость гостиничных номеров в барачной гостинице, установленная Управлением Вод, была довольно низкой, то администрация КМВ вскоре стала получать анонимные письма с угрозами поджога бараков. Пришлось установить за легкими деревянными зданиями, представляющими большую опасность в пожарном отношении, бдительный надзор и принять серьезные меры предосторожности. В феврале 1901 г. император Николай II разрешил Управлению КМВ купить у Кисловодской слободки большой пустопорожний участок земли близ Красных камней. В 1901–1902 гг. на этом участке от Царской площадки до Серых камней был разбит Верхний парк, в котором было несколько шоссейных дорог, обсаженных деревьями, и дорожек для прогулок. В 1901 г. Управление Вод решило перенести «опасную» барачную гостиницу из центра курорта в этот отдаленный парк, а на ее месте построить Гидропатическое заведение. Весной 1902 г. здания барачной гостиницы были перенесены к Красным камням. 1 июня 1902 г. состоялось торжественное открытие лечебного сезона на Кисловодской группе. После молебствия с водосвятием была освящена и Казенная барачная гостиница у Красных камней.
Переделанная из бывших нижегородских бараков и расширенная, она теперь имела 72 разноместных номеров. На первом этаже было 24 номера, на втором – 36 и на третьем – 12. Вскоре Казенная барачная гостиница по новому местоположению получила название «Красные камни». На новом месте барачная гостиница приобрела новую конфигурацию. Из трех бараков, расположенных под углом друг к другу, было сделано единое здание с общим южным входом на месте их стыка, который был выделен аттиком. В плане сооружение имеет Y-образный вид. Внутренний дворик был открыт в сторону юга. На торцах здания были прорезаны дополнительные окна и устроены балконы. Лицевые фасады были оснащены центральными балконами под двухскатными навесами. Отдельный третий барак находился севернее общего здания. Здания были выкрашены белой краской, а крыши – зеленой.