Кастро жил в Гарлеме — негритянском районе Нью-Йорка, в гостинице «Тереза. До этого Кастро жил в центре города в гостинице, хозяин которой предъявил кубинцам громадный счет, требуя оплатить его вперед и мотивируя это тем, что кубинцы якобы несостоятельные плательщики. Сделано это было в оскорбительной форме. Кастро, узнав об этой провокации, собрал делегацию, которая с вещевыми мешками на спине и чемоданами прибыла в здание ООН. Сам Кастро зашел в кабинет к Хаммаршельду и заявил, что не уйдет отсюда, пока Хаммаршельд не предоставит делегации помещения. В противном случае, сказал Кастро, мы люди военные, не изнеженные, раскинем палатки на территории ООН, в сквере, и будем там жить до конца сессии.
Кубинской миссии все-таки удалось договориться с хозяином гостиницы «Тереза». Кастро занимал маленький номер, состоящий из одной комнаты. Когда Никита Сергеевич и Кастро после теплой встречи сели, то остальным пришлось стоять.
На Кастро также было наложено ограничение в передвижении якобы по мотивам обеспечения его безопасности. В ответ на это премьер-министр Кубы вызвал в Гаване к себе американского посла и заявил ему, что «отныне господин посол имеет право ездить только по одной улице от места жительства до своей резиденции», при этом добавил, что это вызвано «заботой» кубинского правительства о безопасности его превосходительства американского посла». Хрущев и Кастро очень тепло беседовали около часа и договорились о новой встрече, но уже в советской резиденции.
Вероятно, нью-йоркская полиция обиделась, что ее заранее не предупредили о поездке в Гарлем, и решила нас за это «проучить». Когда мы подъехали к гостинице «Тереза», вокруг стояла толпа до 5 тысяч человек и сторонников Кастро, и антикастровцев. Шум, крик были невообразимые. Кто кричит: «Виват, Кастро!», кто — «Смерть Кастро!». Копов, детективов там было вполне достаточно, однако вместо того, чтобы навести порядок и образовать коридор для прохода, вся эта полицейская братия сбилась в кучу перед подъездом и перекрыла проход. Более того, когда Никита Сергеевич при помощи нас, сотрудников советской охраны, с трудом прошел в лифт, то, кроме полиции и одного нашего сотрудника, войти туда не мог уже никто. Даже министр иностранных дел Кубы, встречавший Хрущева, остановился в недоумении. Тогда Никита Сергеевич, обращаясь ко мне, сказал: «Николай Степанович, я не к полиции приехал, я к Кастро приехал, выведите их и пустите министра». Пришлось буквально за рукава вытаскивать полицейских, чтобы впустить в лифт министра Кубы. Кроме того, нам с трудом, с применением физической силы, удалось высвободить и пропустить к Кастро зажатых полицией помощника Хрущева В. С. Лебедева, главных редакторов «Правды» и «Известий» П. А. Сатюкова и А. И. Аджубея. После этого я в резкой форме сделал замечание столпившимся в вестибюле командирам из полиции, что они или сознательно учиняют беспорядок, или не умеют работать.
Обращаясь к заместителю начальника полиции Хемфри, я попросил его распоряжения об организации прохода при отъезде советской делегации. Эта просьба была молча проигнорирована — сказывалась обида на те недипломатичные приемы, которые только что применялись к американским полицейским. Служители порядка сознательно умывали руки и тем самым еще более накаляли ситуацию.
Когда Никита Сергеевич спустился вниз, я ему доложил, что обстановка сложная, поэтому придется прорываться через толпу. Сотрудники охраны обступили Хрущева, я попросил Литовченко прикрыть сзади, и мы начали при помощи рук и локтей двигаться к машинам. Время шло на секунды. Возбужденная толпа грозила раздавить нас. Когда дверь автомобиля, в который сел Никита Сергеевич, была закрыта, я понял, что времени, для того, чтобы занять свое место, у меня не осталось. Вскочив на задний бампер автомобиля, я крикнул водителю: «Александр Иванович, гони, полный вперед!» Машина резко стартовала. Но удержаться на такой скорости было практически невозможно. Я из последних сил цеплялся за автомобиль, когда Хрущев оглянулся и, увидев меня на бампере, скомандовал: «Остановите машину, Захаров убьется!» Быстро вскочив в салон, мы продолжили движение в советскую резиденцию. Такова была поездка в Гарлем.
Вот что, например, на следующие сутки писала американская газета «Дейли Ньюс» 21 сентября: «Сдержанное напряжение в отношениях между нью-йоркскими молодцами и государственной охраной Хрущева прорвалось вчера в виде яростного рукоприкладства главного телохранителя Хрущева — не менее как генерала — в вестибюле отеля в Гарлеме, когда Хрущев нанес неожиданный визит кубинскому премьеру Фиделю Кастро. Здоровенный глава охраны Хрущева 6-ти футов и 3-х дюймов высоты и 220 фунтов весом… как цепами начал молотить кулаками, которые в основном опускались на полицейских». Другая желтая газетенка карикатурно изобразила меня, крупно преподнеся свирепый вид и кинжал в зубах.