Основная масса "доброго люда" (рёмин), как и "государева люда" (камин), бывшего ранее в личной зависимости от глав могущественных кланов, после введения надельной системы была посажена на казенную землю. Они не были прикреплены к земле, к конкретному господину-землевладельцу, но не могли без разрешения уездного начальника или хозяина, на службе у которых находились, покинуть землю.
Большая семья или группа малых семей составляла "двор" — хозяйственную и тягловую единицу. Глава двора признавался властями, он был обязан к определенному сроку составлять налоговые списки, нес ответственность за все семейные платежи, отработки, распоряжался семейным имуществом, поддерживал культ предков.
Государство всемерно стремилось к укреплению семьи как тягловой единицы, основанной на стойких патриархально-родовых связях. "Тайхо Ёро рё" предписывает, например, обязанность по уходу за больными, престарелыми, калеками, возлагаемую на родственников, а в случае их отсутствия на общину или местные власти. На государство же возлагалась обязанность оказывать помощь семьям, пострадавшим от неурожая или стихийного бедствия. Закон запрещал раздел двора, если при этом в одиночестве оставался малолетний или вдова. Исключение допускалось, если выдел происходил при разделе наследства и не было сомнений в том, что выделившийся способен возглавить семью.
В Японии не признавалось разного подхода к людям в зависимости от этнической принадлежности и религии. Чиновничья служба считалась личной и пожизненной привилегией любых способных кандидатов на государственные посты. Получивший этот пост входил в ту или иную чиновничью категорию и получал тот или иной ранг. Здесь определяющим был пост, а не ранг, в отличие от Китая, где ранг определял пост. В зависимости от поста и ранга находились и размеры натуроплаты чиновника или его земельного надела.
Особое положение занимали первые четыре ранга высшей категории чиновников, представители сильнейших кланов, которые стояли во главе чиновничьего списка и были непосредственно связаны с императорским двором. Так, принц I категории получал за службу в кормление 80 те земли (около 5 тыс. га), 800 приписанных к ним крестьянских дворов для ее обработки и 100 слуг.
Клан крупного вельможи выступал в Японии не только в качестве семейно-хозяйственной феодальной единицы, но был и своеобразной единицей политической. В "Тайхо Ёро рё" содержится, например, специальная глава "Об учреждениях и штатах домоуправлений", касающаяся домов вельмож, обладающих высшими рангами. У глав феодальных домов, представителей высших должностей и рангов чиновничества существовала обязанность отдавать детей на службу в качестве телохранителей или других служителей при дворе. Должности эти становились впоследствии наследственными. Широко практиктовалась система совместительства должностей в связи с общей нехваткой чиновников.
Крайне пестрым был разряд "подлых" людей, в который входили, например, специальная группа работников, обслуживающих погребения, члены "казенных дворов", казенные и частные рабы и холопы.
Рабы (нухи), по свидетельству источников, как и в Китае, обладали некоторыми правами. Их можно было продавать и наследовать, но они могли вступать в брак и иметь собственность. Браки "подлых" и "добрых" людей считались незаконными. Только при браке "по незнанию" дети от таких союзов считались "добрыми", а дети от свободной женщины и раба передавались в казенные дворы. Рабов казенных и частных было немного. Источниками рабства были: порабощение преступников и в ряде случаев членов их семей, самопродажа или продажа по воле родителей, заложничество за долги и военный плен. Особо ценились рабы-земледельцы, на них давался земельный надел, и их не облагали налогами. Закон 830 года фактически уравнял рабов со свободными крестьянами в праве пользования наделом и в обязанностях исполнять повинности в пользу казны.
Особую категорию "подлого люда" составляли работники так называемых казенных дворов. Существовал строгий порядок их учета, как и казенных рабов и холопов. Их заносили в особые списки, строго учитывался и урожай с обрабатываемых ими казенных полей. За членами казенных дворов по закону закреплялись некоторые права: один день в декаду им давался для отдыха, предоставлялась более легкая работа женщинам после родов. Они обеспечивались одеждой, обувью. Чиновники не могли их использовать в своих личных нуждах.
Положение потомственных холопов (кэдин) отличалось местной спецификой, но в отличие от рабов они не могли продаваться, хотя беглого холопа и возвращали хозяину. Государственный (казенный) "подлый люд" по достижении 60 лет освобождался от личной зависимости.
Сословно-классовая структура в последующие века приобретала все более четкое выражение, формируясь не только под воздействием развивающихся феодальных, вассально-ленных отношений, но и кардинальных политических изменений в стране.