Он будет до посинения клясться, что это не автобиографический фильм, хотя к 1979 году он, как и Сэнди, уже много знал о богатстве и славе, чтобы понимать, что они не смогут избавить его от его демонов. Он купил два пентхауса на Пятой Авеню, заполнив их Пикассо и картинами немецких импрессионистов. Он купил Rolls-Royce и билеты на игры Никс на целый сезон. Он перестал носить наличные, полагаясь на друзей в размене денег, и начал негодовать на собирателей автографов. «Воспоминания о звездной пыли», по сути, происходят в выходные в апреле 1973 года, когда он едет в Тарритаун, Нью-Йорк, который расположен примерно в часе езды от Манхэттена, чтобы выступить на киноуикенде, организованном критиком журнала New York Джудит Крист. Во время мероприятия Аллена окружила толпа фанатов, просящих автограф и желающих, чтобы он прочел что-то и сделал что-то еще. Один из студентов юридического факультета Йельского университета спросил его, не хочет ли он поехать в Нью-Хейвен и побыть там экспертом карате в пародии на суд.
«Я здесь, делаю, что могу в качестве одолжения Джудит Крист, которая мне очень нравится, и я подумал, что из этого выйдет смешной фильм», — сказал он. Сквозь стены тем вечером он слышал несколько споров относительно его фильмов, а также как женщина вслух читала его короткую пьесу «Смерть стучится в дверь» с комично преувеличенными еврейскими интонациями. Ему предложили другую комнату, но он отказался, ему было слишком интересно, что они еще будут говорить. Что-то из этого найдет свое воплощение на экране, включая Джудит Крист, которая появится в одной из многих сцен в стиле Феллини. Двух менеджеров, которые критикуют фильмы Сэнди, сыграют менеджер UA Энди Альбек и сопродюсер Аллена Джек Роллинс. Считали, что персонаж Шарлотты Рэмплинг Дорри были смоделирован по образу второй жены Аллена Луизы Лассер. Рабочее название фильма, тем временем, было «Вуди Аллен № 4», оно побуждало Аллена к самоуничижению: «Я даже не половина „Восьми с половиной“ Феллини».
«Была реальная отрицательная реакция, когда я сделал „Воспоминания о звездной пыли“. Люди были возмущены. Я по-прежнему думаю, что это один из моих лучших фильмов. Я просто пытался сделать то, чего хочу я, а не то, что от меня хотят видеть».
Необычно для Аллена долгие съемки начались в сентябре 1979 года, они длились шесть месяцев в ветшающем городе-курорте Оушн Грув, Нью Джерси. Некоторые дома в этом городе, покосившиеся от возраста под слоем отслаивающейся краски, играли роль домов для местных психиатрических больных, которых близлежащая психиатрическая клиника посчитала достаточно надежными, чтобы вернуть их обратно в общество. Иногда они появляются в кадре, бродят вокруг, ошалевшие от медикаментов — прекрасная атмосфера для фиктивного нервного срыва Сэнди Бэйтса.
«В начале „Воспоминаний о звездной пыли“ мне казалось, что мы никогда не сделаем все правильно, — рассказал художник-постановщик Мел Борн. — Аллен просто садился и говорил: „Я не думаю, что это сработает“. Мое настроение падало до нуля. В конце концов такие вещи обязательно приведут тебя в уныние». Аллен снова работал с Гордоном Уиллисом, он настаивал на правильном освещении, он неделями ждал правильного неба, пока его команда и актеры играли в стикбол или покер. В начале декабря они на пять недель отставали от графика. «Это был чрезвычайно сложный фильм, потому что он был чрезвычайно тщательно спланирован, — говорил Аллен. — И мы его переснимали. Из-за проблем с погодой. Это был очень сложный фильм».
Законченный фильм ввел даже жизнерадостного Чарльза Йоффе в депрессию. «Когда я вышел с первого просмотра, я заметил, что задаю себе очень много вопросов, — рассказал он. — Я спрашивал в себя, вложился ли я за последние 20 лет в несчастье этого человека. Но я поговорил об этом с моей бывшей женой и с моими детьми, которые росли с Вуди, и я с самим Вуди долго разговаривал. Он мне сказал: „Тебе правда кажется, что я себя именно так чувствую?“» Даже если и так, фильм подвергся жесткой критике из-за того, что они восприняли его как неблагодарность — как Вуди осмелился создать этот затянутый скулеж о разных нюансах славы! В Village Voice Эндрю Саррис написал, что фильм кажется «созданным по мазохистскому желанию отвратить поклонников Аллена раз и навсегда». В New Yorker Полин Кейл назвала его «чудовищным отступничеством… привкус ностальгии испортил все. Если для Вуди успех дается так больно, „Воспоминания о звездной пыли“ должны утихомирить его беспокойство». Аллен все больше и больше уставал, защищая фильм, и, в конце концов, он сдался: «Может быть его никто, кроме меня, не понимает».