То, что формирование общества при Августе носило в принципе реставрационный характер, показывает его отношение к рабам и вольноотпущенникам. Отношение Августа к рабам полностью соответствовало традиционным нормам. Он мог обращаться со своими рабами, как строго, так и мягко, но признавал права рабовладельцев даже тогда, когда они ему самому казались чрезмерными, как в случае с пресловутым Ведием Поллионом, который отдавал своих рабов на съедение муренам, однако эту бесчеловечность не следует обобщать. Политически с вопросом о рабах Август столкнулся уже раньше. Как было упомянуто ранее, Секст Помпей пообещал свободу всем бежавшим и сражавшимся вместе с ним рабам, и это было закреплено в так называемом Мизенском договоре 39 г. до н.э. Однако в 25 главе своей автобиографии Август следующим образом подводит итог этой борьбы: «Я освободил море от пиратов. В этой войне я пленил около 30 000 беглых рабов, которые взялись за оружие против государства, и наложил штраф на их владельцев».
Разграничение вольноотпущенников и рабов носило тоже реставрационный характер. В пресловутом Силанианском решении сената от 10 г.н.э. говорилось, что в случае убийства рабовладельца подвергались казни все рабы, находившиеся под одной крышей со своим господином и не пришедшие ему на помощь. Это решение сената исполнялось еще при Нероне. В остальном же при Августе было только одно большое восстание рабов в 19 г. до н.э. в Испании, когда взятый в рабство кантабриец убил своего покупателя и призывал к свободе других рабов. Восстание было подавлено Агриппой собственными силами. Стабилизация системы продолжалась.
В Риме с самого начала с рабами были тесно связаны вольноотпущенники, которые создали для Августа большие проблемы. Трения между свободнорожденными гражданами и вольноотпущенниками были еще во времена классической Республики. Причина заключалась в том, что вольноотпущенники самим актом о возвращении свободы автоматически попадали под юрисдикцию римского гражданского права. В течение II и I вв. до н.э. число вольноотпущенников из-за прироста рабов сильно выросло. По современным оценкам их число и число их потомков в отдельных районах к концу республики составляло 75
Такое развитие событий вынудило Августа прибегнуть к рестрикционному законодательству. Закон Фуфия Каниния (2 г. до н.э.) постановлял, что свободный завещатель по завещанию мог отпустить на свободу с полным правом римского гражданства только определенный процент рабов. Закон Элия Сенция (4 г.н.э.) постановлял, что свободные собственники могли освобождать рабов только по достижении 20 лет, раб же должен быть старше 30. Отпущенные на свободу рабы оставались свободными, но пользовались только латинским, а не полным римским гражданским правом. Их называли элианские латины. Одновременно закон Элия Сенция определял, что рабы, подвергшиеся тяжким телесным наказаниям, в будущем не могли пользоваться полным римским гражданским правом.
Какой бы недвусмысленной была тенденция этих законов, ограничивающих массовое освобождение рабов молодыми собственниками, успех их был не велик. Хотя точное соотношение рабов и вольноотпущенников в отдельных районах империи неизвестно, по современным оценкам, число вольноотпущенников было значительно выше, чем это думали раньше. Наиболее точным является подсчет П.А.Бранта, который показывает, что в Италии во времена Августа при 7,5 миллионах жителей было не менее 3 миллионов рабов, значительное число которых были потенциальными вольноотпущенниками.
Участие вольноотпущенников и рабов во всех экономических сферах деятельности не ограничивалось. Но никто и не думал упразднять державшееся на рабах хозяйство крупных землевладельцев и помочь развитию свободного мелкого крестьянства. Однако сдержать экономический и общественный взлет вольноотпущенников было невозможно. Они часто обладали высокими профессиональными качествами и к тому же отличались инициативой, в отличие от Августа позже принцепсы искали себе сотрудников именно из этой группы людей, которые подобно всадникам добивались огромного влияния и извлекали пользу из новой системы.
При большом числе вольноотпущенников, среди которых по литературе известны Теренций, Публий Сир и Федр, характерно, что сам институт рабства не отвергался, но и никто не призывал к восстанию против своих хозяев.
Вольноотпущенники внутри римского общества чувствовали себя привилегированной группой как в политическом, так и правовом смысле, но никогда не считали себя классом в современном понимании этого слова. После того, как оставили позади ступень рабов, они знали только одну цель — по возможности быстрее добиться для себя и своей семьи общественной и гражданской интеграции. Новая политическая система принципата, как никакая раньше, предоставляла для этого большие возможности.