Его отец, так же как и его учителя, был высокого мнения о его способностях. Он всегда был самым прилежным из братьев и навсегда сохранил любовь к книгам. Говорят, что, находясь в заключении во Франции, он попросил принести ему сочинения Данте «per studiare» (для изучения). Он пользовался особым расположением своей матери. Об их близости свидетельствуют его письма к ней, написанные им в Кремоне в 1466–1467 годах, в которых Людовико описывает свои посещения окрестных церквей и монастырей, а также визиты к местным дворянам. Он сожалеет о том, что теперь, после смерти отца, она оказалась в столь беззащитном положении, и высказывает свое желание чем-либо развлечь ее. Людовико обещает сделать все, что в его силах, чтобы доставить матери удовольствие, «ибо, в своей удивительной доброте и великом милосердии, вы проявляете обо мне большую, нежели я сам, заботу». Очевидно, что вираго Бьянка Мария была искренне привязана к своему чувствительному, нежному и кроткому сыну, который весьма рано проявил подлинные религиозные чувства. Ее дочь Ипполита, старшая из детей, говорила, что мать сделала все, чтобы развить в нем доброту, чувство справедливости и хорошие манеры — качества, явно более естественные для Людовико, чем для его братьев. На самом деле ее мужественную натуру привлекал довольно женственный склад его характера, а его несомненные таланты лишь усиливали ее привязанность к сыну. Кроме того, он был статен, красив и весьма изыскан в общении. Поначалу он был также самым близким из братьев для Галеаццо Мария, который питал к нему особое доверие; он собирался даже завещать ему герцогство, в том случае если он умрет, не оставив наследников; но вскоре герцог охладел к нему, узнав, возможно, об его ловкости в интригах и умению скрывать свои чувства. Галеаццо Мария использовал его таланты в разнообразных делах и дипломатических миссиях, но всегда следил — что было вполне разумно с его стороны, — чтобы никто из его братьев не обладал сколько-нибудь реальной властью.
Теперь Людовико занялся укреплением своей власти, к которой он так долго стремился. Тассино оказался первым и самым сложным препятствием на этом пути. Его влияние было весьма значительным, поскольку при поддержке увлекшейся им герцогини ему удалось назначить своих ставленников на все возможные посты. Наглость его становилась невыносимой. Даже гвардия состояла из его людей. Но Роккетта, внутренняя крепость Миланского замка, оставалась под командованием верного Филиппо дельи Эустакки, который поклялся передать ее только самому Джан Галеаццо, когда тот достигнет совершеннолетия. Пока крепость находилась под контролем Эустакки, Тассино не мог чувствовать себя в безопасности, поэтому он обратился к Боне с просьбой передать командование его отцу, которого он уже сделал членом Совета. Однако Эустакки заявил, что никто не сможет его заставить нарушить его клятву и сдать Роккетту кому-либо, кроме молодого герцога. Почувствовав опасность, Людовико со своими друзьями перевели герцога и его брата в Роккетту и оставили их на попечении Филиппо дельи Эустакки. Теперь герцогиня ничего не могла поделать. Тассино пришлось уехать, и он отправился в свою родную Феррару с доверху набитыми карманами и с пылкими рекомендательными письмами от Боны. Та, узнав об его отъезде, пришла в отчаяние и, совершенно позабыв о своем достоинстве, твердила о своем желании следовать за ним.
Гибеллины из местных дворян, помогшие Людовико прийти к власти, едва ли были довольны его отношением к ним. Они обратились к Асканио — весьма популярному в Милане прелату, ставшему к тому времени папским легатом. Людовико счел целесообразным арестовать его и выслать в его епархию в Павии, лишив тем самым городскую знать всякой власти в своем герцогстве. Асканио же вскоре вернулся в Милан.
Тем временем Людовико подвергал несчастную Бону дальнейшим унижениям, принуждая ее отказываться от все больших привилегий и прав. Несмотря на то что Джан Галеаццо исполнилось только двенадцать лет, он был объявлен дееспособным и, разумеется, мог подписать любой документ, какой заблагорассудится его дяде. Таким образом был упразднен даже двор герцогини, поскольку она постоянно жаловалась своим дамам на плохое обхождение с ней. В результате она объявила о своем желании немедленно покинуть Милан. Подписав документ, в котором она отказывалась быть опекуншей своего сына, Бона намеревалась отправиться в Пьемонт. Однако, проехав не далее Аббиатеграссо, Бона дала понять, что останется там и превратит этот замок в свою резиденцию. Представляется весьма вероятным, что вскоре после этого она участвовала в заговоре против Людовико (кто станет обвинять ее в этом?), и затем потребовалось все влияние французского двора, чтобы замять скандал. Людовико стал опекуном, и в конце 1480 года облаченный в бархатную мантию Джан Галеаццо был провозглашен герцогом на торжественной церемонии в Дуомо.