Тихо, в полном забвении доживал свой век Форт Росс после продажи его Суттеру в 1841 г. Здания внутри и снаружи стен форта стали приходить в ветхость, гнили, падали. Известно, что в 1873 г. как форт, так и несколько ранчо вокруг него были приобретены семейством Джорджа Колла.
К концу прошлого столетия большинство зданий снаружи форта исчезло — развалились или были разобраны, — но внутри форта еще оставалось несколько зданий, как видно, крепче построенных. В углу форта по-прежнему, как и во времена владения фортом русскими, стояла часовня. Кладбище постепенно пришло в запустение, деревянные кресты подгнили и упали. В 1897 г. еще стоял один крест. С тех пор могильные холмы сравнялись с окружающей местностью, стада овец притоптали землю, и от кладбища не осталось никаких следов.
Приблизительно в 1887 г. семейство Джорджа Колла устроило на территории Форта Росс почтовую станцию. Имеющиеся там здания, главным образом дом правителя и казармы, были использованы под кабак, гостиницы и склады, а часовня была превращена в конюшню или хлев.
Епископ Алеутский и Аляскинский Николай, посетивший Форт Росс в марте 1897 г., так описал это место: «В центре форта — дом бывших управляющих фортом. Это по виду настоящий помещечий дом средней руки. Комнаты небольшие, с низкими потолками… В этих небольших, но уютных комнатах сохранилось и несколько русской мебели: клавикорды, привезенные еще в 1820 году из Парижа и теперь издающие… какие-то замогильные звуки, налой из церкви на одной ножке, выкрашенный в синий цвет, да еще несколько скамеек».
Грустную картину, по описанию епископа Николая, представляла церковь: «Церковь — небольшое деревянное, четырехугольное здание с высокой крышей и двумя башнями в форме грузинских, продолговатых и остроконечных, выцветшая, облезлая, темная, полуразвалившаяся, с выбитыми стеклами… Входим в крытую паперть… отворяете двери, и вашим глазам представляется самое возмутительное зрелище: во всю длину храма идут стойла для животных».
Епископ предложил владельцу, м-ру Коллу, откупить у него часть форта — церковь, соседний дом с огородом и кладбище. Но из этого ничего не вышло. Сделка не состоялась. К началу XX в. здания форта пришли в упадок, стены во многих местах подгнили и упали, развалились угловые башни.
К этому времени фортом заинтересовался Калифорнийский комитет по охране исторических памятников (The California Historical Landmarks Commitee of San Francisco), который за три года до большого землетрясения, т. е. в 1903 г., приобрел участок форта и передал права на него штату Калифорния.
В 1905 г. Форт Росс посетил епископ Тихон, глава Алеутской и Северо-Американской епархии (впоследствии патриарх Московский и Всея Руси). К его посещению произошли кое-какие изменения в Форте Росс, а главное, на что он обратил внимание, было то обстоятельство, что с переходом Форта Росс во владение штата Калифорния часовня форта приняла более благопристойный вид. Сопровождавший епископа Тихона священник Федор Пашковский (впоследствии митрополит Феофил Америки и Канады) довольно подробно описал состояние зданий форта. «Мерзости запустения», как писал раньше епископ Николай, уже не было. По словам священника Пашковского: «Сравнительная чистота и порядок нас приятно поразили». Но он отметил, что «на куполе часовни уже не сохранилось поперечной перекладины креста, но на колокольне такой еще стоит».
Посетители отметили также, что дом правителя был в целости и сохранности. К нему примыкало большое двухэтажное здание в десять комнат, которое они называли «офицерским зданием», очевидно, помещение для служащих компании. Епископ Тихон со своими спутниками переночевал в этом доме и на следующий день вернулся в Сан-Франциско.
Как епископ Николай в 1897 г., так и епископ Тихон в 1905-м совершил на кладбище Форта Росс молитвенное поминовение людей, способствовавших его основанию. Епископ Тихон помянул раба Божия Александра (Баранова) и всех «зде лежащих православных христиан». Епископ Николай за 8 лет до него также отслужил панихиду на кладбище «по почившим братьям нашим».
В 1906 г. во время страшного землетрясения в Сан-Франциско от сильных подземных толчков повалились и стены часовни Форта Росс, крыша ее с куполом осела на землю.