Оскар Рабин родился в семье врачей. Его отец и мать — украинский еврей Яков Рабин и латышка Вероника Леонтина Андерман — были выпускниками Цюрихского университета. Когда мальчику было пять лет, отец скончался, в возрасте тринадцати он лишился и матери. Единственной отрадой в жизни осиротевшего и недоедающего мальчика стала живопись. Художник вспоминал: «однажды шатаясь по рынку, вдруг наткнулся на дядьку, который продавал целый набор настоящих масляных красок! Не раздумывая я тут же поменял их на только что отоваренный хлебный паек». С начала сороковых годов Рабин стал жить в Трубниковском переулке. Окончив школу, осенью 1942 года поступил в художественную студию Евгения Кропивницкого в Доме пионеров. В 1944 году после освобождения Латвии Оскар на некоторое время перебрался к родственникам матери. В период с 1946 по 1948 год Рабин учился в Академии художеств Латвийской ССР. Местные студенты прозвали его «наш Репин» за приверженность реалистическому методу. Поскольку Рабин не имел при себе никаких документов, ему не выдавали продуктовых карточек. Постоянного места жительства студент не имел, ночевал в академии, жил впроголодь и боялся быть арестованным за нарушение паспортного режима. В конце концов, ему удалось получить паспорт по блату, однако юноше велели записаться латышом в графе «национальность». Некоторое время спустя Рабин совершил краткую поездку в Москву и, вернувшись в Ригу, понял, что забыл выписаться в столичной милиции. Художник решился подделать выписку, но затем в страхе уничтожил с таким трудом полученный паспорт. В 1949 Рабин окончательно перебрался в Москву и поступил на второй курс Суриковского института, в 1950 каким-то чудом вновь получил паспорт, женился на художнице Валентине Кропивницкой, дочери своего первого преподавателя Евгения Кропивницкого. По воспоминаниям художника, в Суриковском он проучился примерно четыре месяца и, не добившись общежития, пошёл работать. Трудиться пришлось десятником по разгрузке вагонов, бок о бок с уголовниками. Семья поселилась в бараке с земляным полом на окраине Москвы, в поселке Лианозово, находившемся в те годы за чертой города. В браке родилось двое детей. Семь лет — с 1950 по 1957 — Рабин работал на строительстве «Севводстроя» грузчиком. График был сменный, сутки через двое, поэтому у Рабина оставалось много свободного времени для занятий живописью. Иногда это приносило дополнительный доход — местные жители хорошо знали художника и иногда заказывали копии работ русских классиков.
Весной 1957 года Рабин принял участие в III выставке произведений молодых художников Москвы и Московской области. Несколько представленных им холстов были отобраны членами МОСХа.
С конца 1950-х годов Рабин был участником так называемой Лианозовской группы, объединявшей художников и поэтов нонконформистского направления. Центральной фигурой этого неформального круга был Евгений Кропивницкий, среди участников — поэты Генрих Сапгир, Ян Сатуновский, Всеволод Некрасов, художники Николай Вечтомов, Лидия Мастеркова, Владимир Немухин, Лев Кропивницкий и др. К группе был близок поэт Эдуард Лимонов (Савенко). В 1960–1970-х годах дом и мастерская Рабина являлись неформальными литературно-художественными салонами, широко известными в Москве.
Рабин писал пейзажи, натюрморты в манере, близкой примитивизму и экспрессионизму, при этом используя сумрачный колорит. Один из главных мотивов его творчества — изображение абсурдности и анти-гуманности окружающего мира. Наиболее известные работы «Барак» (1958), «Оптимистический пейзаж» (1959), «Паспорт» (1964), «Скрипка и домики» (1974).
С 1960-х годов картины Рабина регулярно выставлялись за рубежом, приобретались иностранными коллекционерами. Персональные выставки художника проходили в Лондоне (1965), Джерси-сити (США, 1984), Москве (1991), Петербурге (1993).
Художник также участвовал в групповых выставках на VI Всемирном фестивале молодежи и студентов (Москва, 1957), в выставках произведений художников «второго русского авангарда» в Лугано (1970), Бохуме (ФРГ, 1974), Лондоне (1977), Париже (1989), Москве (1990–1991), Токио (1991).
15 сентября 1974 года Рабин стал инициатором и одним из главных организаторов несанкционированной выставки работ художников-нонконформистов на пустыре в московском микрорайоне Беляево. Мероприятие получило широкий международный резонанс, так как было разгромлено переодетыми сотрудниками советских спецслужб в присутствии корреспондентов зарубежных СМИ.
На следующий день Рабин и другие художники обратились к советскому правительству с открытым письмом. Они заявили, что планируют повторить выставку и просили официальные власти защитить их от действий «хулиганов». 29 сентября разрешенная выставка художников-авангардистов с участием Рабина состоялась в московском парке Измайлово.
В январе 1977 года художник был арестован за тунеядство, а вскоре, получив туристическую визу во Францию, под давлением советских властей выехал за границу.