Будучи сёгуном, Ёритомо издал указ о том, что все его приемники на этом посту должны быть из рода Минамото. Он начал строить систему власти, которая сохранила бы процесс прямого наследования. И Ёритомо имел прочный психологический фундамент для строительства такой системы, поскольку японскому народу присущи такие черты, как повиновение лидеру, чрезвычайное чувство гордости за свою причастность к определенной группе, согласие с социальным и политическим неравенством, высокое уважение к боевой доблести и признание обязанности подданных быть преданными своему правителю.
Провинциальные буси, которых собрал Ёритомо, были грубой, необразованной массой, разнородной смесью воинов, которым была абсолютно чужда сама мысль об объединении кланов в одну централизованную силу. Более того, концепции лояльности по отношению к верховному правителю практически не существовало; кроме нескольких избранных буси, удостоенных привилегии служить охраной при дворе, провинциальные буси едва ли вообще знали о существовании императора. Они были выходцами из аристократических семей и царящее в восточных сельскохозяйственных районах беззаконие (а в северных районах — необходимость защищаться от нападений Айну) требовало непрерывного развития воинских искусств. В силу того, что буси всегда приходилось полагаться только лишь на себя, они стали независимы от государства. Поскольку все провинциальные буси испытывали одинаковые трудности, сражаясь за свое существование, то они уважали традиции родоплеменного общества, такие как глубокое чувство преданности. Между этими буси и их непосредственными начальниками не было большой пропасти, поскольку их предводители были людьми такой же отчаянной храбрости и крепкой боевой закалки. Среди провинциальных буси было достаточно отважных людей, но были среди них и трусы. Были и такие, которые шли на огромный риск ради славы и чести. Если буси были храбрыми, преданными и благородными в своих действиях, то они были такими до конца, и сплоченность людей таких высоких моральных качеств была настолько сильной, что целые группы, даже целые кланы, могли погибнуть, защищая свои земли.
Ёритомо восхищался такими качествами и требовал их от своих буси. Он осознавал, что для многих буси его времени было типично нарушать данные обязательства, не повиноваться начальству, переходить на сторону врага, меняя тем самым ход сражений и ставить материальные выгоды выше преданности. Ёритомо проявил огромную проницательность и завоевал расположение провинциальных буси. Но он никогда не рассчитывал на то, что буси будут ему верны только из моральных соображений; нет, он очень хорошо вознаграждал всех буси за достойную службу, присваивая своим воинам новые звания и подтверждая их права на землю, которой они уже владели.
Ёритомо избегал мобилизаций, он доверял только профессиональным воинам, выходцам из военных семей или членам избранных групп, состоящих в основном из потомков аристократических родов. Он очень хорошо понимал разницу между солдатом, мобилизованным на военную службу, и профессиональным бойцом; первый представлял собой лишь временного воина, вынужденного в силу обстоятельств подчиняться военной дисциплине, а второй посвящал своей профессии всю свою жизнь и добровольно подчинялся всем ее требованиям. Профессиональные воины сражаются, потому что это их привычка, выработанная жесткой дисциплиной; они представляют собой послушный инструмент и поэтому на него можно положиться при любых обстоятельствах.
Поскольку Ёритомо требовались буси самых лучших качеств, то он примирился с некоторыми из своих бывших врагов. Он принимал в свои ряды тех выдающихся вражеских воинов, которые после своего поражения клялись ему в верности, и в искренность которых он верил. Ёритомо признавал даже предательские действия, если они совершались в его интересах. Иида Горо Иэёси сражался против Ёритомо в битве при Исибасияма, но повернул против своего командира, как раз в то время, когда тот намеревался нанести Ёритомо решающий удар; Ёритомо наградил Иэёси и принял его в свои ряды. Но предательство ради награды вызывало у него ярость. Кирю Рокуро принес голову своего командира, Фудзивара Тосицуна, которого Ёритомо разыскивал, и попросил награду. Ёритомо отказал ему, объявив его поступок низким, а затем приказал обезглавить. Ёритомо настолько ценил истинную преданность, что когда Тайра Сигэхира был схвачен и доставлен к нему для вынесения приговора, то он освободил воина Тайра после того, как тот сказал, что скорее умрет, чем присоединиться к Ёритомо и тем самым предаст свой клан.