11 марта вместе с Совнаркомом Коллонтай переехала в Москву и поселилась в гостинице "Националь", переименованной в 1-й Дом Советов. Дыбенко жил со своими матросами в бывшей Лоскутной гостинице, позже переименованной в гостиницу "Красный флот". Вскоре Коллонтай переселилась к нему, хотя там было куда менее комфортно, чем в Доме Советов. Десять лет спустя она вспоминала: "Мы с Павлом в Лоскутной гостинице. Моя любовь к нему полна тревог за него. Мятежный он, недисциплинированный. Я вечно боюсь, что он натворит что-либо неумное, ненужное… Ночь. Павел поздно вернулся от товарищей, балтийских моряков. Неспокойные они тоже. Еще не поняли, что власть наша, готовы бунтовать. Стук в дверь. Настойчиво-дробный звук. Вскакиваю в испуге. Что это? Может, снова за Павлом? И Павел вскочил, лицо нахмуренное. Вижу, что и у него те же мысли. Сердце мое стучит в висках, во всем теле… Не застегнуть платья.
— Кто там?
Спешу к двери сама. В дверях группа вооруженных матросов, огромные наганы, шапки на затылке… Пришли "отдышаться* к нам…"
15 марта открылся IV съезд Советов — ему предстояло ратифицировать Брестский договор. 785 делегатов поддержали
Ленина, 261 голосовал против и 215 воздержались. Дыбенко и Коллонтай голосовали против. В знак протеста оба вышли из правительства.
Цитированное выше заявление Дыбенко было зачитано на съезде еще до обсуждения вопроса о сдаче Нарвы. На следующий день после ратификации Брестского мира обсуждалось "поведение члена РКП(6), наркома по морским делам товарища Дыбенко Павла Ефимовича, беспричинно сдавшего Нарву наступающим германским войскам". Павла Ефимовича обвинили в "пьянстве, приведшем к трагическим последствиям". Преемником Дыбенко, с сохранением поста наркома по военным делам, был назначен Троцкий.
На следующее утро, едва открылось заседание съезда, Дзержинский вызвал Коллонтай в комнату за сценой и предупредил, что Дыбенко только что арестован. Ей предлагалось удержать моряков "от возможных неразумных действий" во избежание "неизбежных шагов, которые в этом случае предпримет ВЧК". Неизбежные шаги, уточнил Дзержинский, — это "немедленный расстрел товарища Дыбенко, чего мы бы никак не хотели". Для воздействия на Коллонтай Дзержинский прислал к ней своего заместителя Вячеслава Александровича, которого еще с норвежских времен она знала как "Славушку". В ответ Александра Михайловна сразу же написала заявление об отставке с поста наркома государственного призрения.
Следствие по делу Дыбенко поручили вести его вчерашнему товарищу и соратнику Николаю Крыленко — они вместе входили в "коллегию по военным и морским делам" в составе первого Совнаркома. Теперь Крыленко был членом чрезвычайной следственной коллегии при ЦИКе. Вместе с ним следствие вела его жена Елена Розмирович — председатель чрезвычайной следственной коллегии. Они сочли, что вина Павла Ефимовича доказана.
Несколько сот моряков пришли к Троцкому, требуя немедленно освободить Дыбенко и угрожая повесить Льва Давыдовича на ближайшем фонарном столбе. Троцкий не испугался и произнес пламенную речь, в которой убедил матросов, что Дыбенко — трус и дезертир, так что ему даже устроили овацию.
Дыбенко находился под арестом не в тюрьме, а в Кремле. Коллонтай получила разрешение "в течение 19–22 марта ежедневно по одному часу иметь свидание с арестованным товарищем Дыбенко в промежуток от 12 до 18 часов без права передачи писем и записок" и в присутствии охраны. Потом разрешили передачу писем, но "с предварительным прочтением членом следственной коллегии". И "в ночь с 16 на 17 марта" она написала такое исповедальное письмо:
"Счастье мое! Безумно, нежно люблю тебя! Я с тобой, с тобой, почувствуй это! Я горжусь тобою и верю в твое будущее. То, что произошло, до отвращения подло, самое возмутительное — несправедливость. Но ты будь покоен, уверен в себе, и ты победишь темные силы, что оторвали тебя от дела, от меня. Как я страдаю, этого не скажешь словами. Но страдает лишь твоя маленькая Шура, а товарищ Коллонтай гордится тобою, мой борец, мой стойкий и верный делу революции товарищ. Мы работаем, чтобы ты скорее, скорее снова был с нами.