Александр Иванович Шувалов был личностью малоприятной. Он тушевался на фоне своего бриллиантового брата, но за ним шла зловещая слава. Фавье писал, что А. Шувалов ведает тайным сыском, и «от этого в России все страшно боятся графа А. И. Шувалова»
Шувалов не был, как Ушаков, фанатиком сыска, и не проводил в Канцелярии дней и ночей напролет. Большие возможности, открывшиеся в 1749 году с началом фавора их молодого родственника Ивана Шувалова, использовались А. И. Шуваловым, как и его братом Петром, для обогащения. Много времени у Александра Шувалова отнимали и придворные дела-с 1754 года он стал гофмейстером двора великого князя Петра Федоровича. И хотя Шувалов держал себя с наследником и его женой предупредительно и осторожно, сам тот факт, что гофмейстером двора наследника стал страшный шеф тайной полиции, не позволял ему добиться расположения ни у великого князя Петра Федоровича, ни у его жены Екатерины Алексеевны, которая, как она писала об этом в позднейших записках, смотрела на Шувалова всякий раз «с чувством невольного отвращения». Это чувство, которое разделял и ее супруг, не могло не отразиться на карьере А. И. Шувалова после смерти 25 декабря 1761 года императрицы Елизаветы Петровны и прихода к власти Петра III. Новый император сразу же уволил Шувалова от его должности.
Смерть Елизаветы стала трагедией и еще для одного Шувалова, который, в отличие от Петра и Александра, не был графом, фельдмаршалом и владельцем бесчисленных заводов и поместий. Этого удивительного Шувалова звали Иваном Ивановичем. Он родился в 1727 году под Москвой в небогатой и незнатной дворянской семье, получил домашнее образование. Когда он подрос, то Петр и Александр Шуваловы, приходившиеся Ивану двоюродными братьями, пристроили его на придворную службу - помогли определить в пажи. С самого начала Иван заметно отличался от своих сверстников и вообще придворных. Он обратил на себя внимание окружающих умом, начитанностью, мягкой манерой поведения, красотой. «Я вечно его находила в передней с книгой в руке, - писала о нем впоследствии императрица Екатерина II, в ту пору молодая великая княгиня, - я тоже любила читать и вследствие этого я его заметила; на охоте я иногда с ним разговаривала; этот юноша показался мне умным и с большим желанием учиться… он также иногда жаловался на одиночество, в каком оставляли его родные; ему было тогда восемнадцать лет, он был очень недурен лицом, очень услужлив, очень вежлив, очень внимателен и казался от природы очень кроткого нрава». Заметим попутно, что этому высказыванию можно верить - Екатерина, став императрицей, не особенно симпатизировала Шувалову и не могла простить ему участия в интригах против нее накануне смерти Елизаветы.
Однако родственники - двоюродные братья - недолго оставляли юношу в одиночестве. Точнее сказать, жена Петра Шувалова, графиня Мавра, обратила внимание императрицы на симпатичного пажа. Так начался «случай» 18-летнего Ивана Шувалова у 39-летней императрицы. Все это происходило осенью 1749 года под Москвой. Шувалов был тогда пожалован в камер-юнкеры и «благодаря этому, - пишет Екатерина, - его случай перестал быть тайной, которую все передавали друг другу на ухо, как в известной комедии».