100 кратких жизнеописаний геев и лесбиянок

За свою деятельность квакера и пацифиста Растин провел два с половиной года в тюрьме как лицо, отказавшееся от несения военной службы по религиозным или иным соображениям в годы второй мировой войны. После войны, в 1947 году, Растин организовывал первые шествия в поддержку гражданских свобод в штате Северная Каролина, против практики сегрегации в автобусах, за что был арестован и провел несколько недель в тюрьме, где содержался в наручниках. В общей сложности за всю свою жизнь Байард подвергался арестам и попадал в тюрьму за свою деятельность в поддержку гражданских прав и пацифистских настроений свыше двадцати раз. В 1953 году Растин подвергся аресту по иным основаниям: находясь в Пасадене, штат Калифорния, он участвовал в организации демонстраций против дискриминации в ресторанах и гостиницах, тогда же Растин был арестован и приговорен к шестидесяти дням тюремного заключения по обвинению в «сексуальных извращениях». В интервью «Вилледж войс», которое состоялось незадолго до его смерти, Растин размышляет о влиянии гомосексуальности на свою деятельность, связанную с защитой гражданских прав: «У меня ни на минуту не было сомнений в том, что среди тех, с кем я работал, были люди, настроенные весьма предвзято. Хотя, безусловно, они никогда не признались бы в своих предрассудках. Они говорили, что это будто бы может повредить нашему движению».

С 1953 по 1955 год Растин был исполнительным директором Лиги противников войны, а с 1955 по 1960 год работал специальным помощником Мартина Лютера Кинга-младшего, помогая ему в организации автобусного бойкота в Монтгомери, разработке организационного плана для Конференции христианских руководителей южных штатов и участвуя в организации, подготовке и проведении демонстраций в защиту гражданских прав в 1960 году во время проведения съездов и республиканской и демократической партий. Возможно, самым значительным достижением Растина была организация в 1963 году марша на Вашингтон за предоставление рабочих мест и за гражданские свободы. В нем приняли участие свыше двухсот тысяч человек, пришедших в столицу своей страны, чтобы выразить поддержку борьбе за гражданские права. Снова в повестку дня встал вопрос о гомосексуальных наклонностях Растина. Вот как он вспоминает об этом в своем интервью «Вилледж войс»: