В сложной борьбе за власть Воронцов не был самым проворным и хитрым. Он оставил у современников хорошую память. Француз Фавье писал о нем так: «Этот человек хороших нравов, трезвый, воздержанный, ласковый, приветливый, вежливый, гуманный, холодной наружности, но простой и скромный… Его вообще мало расположены считать умным, - продолжает Фавье, - но ему нельзя отказать в природном рассудке. Без малейшего или даже без всякого научения и чтения, он имеет весьма хорошее понятие о дворах, которые он видел и также хорошо знает дела, которые он вел. И когда он имеет точное понятие о деле, то судит о нем вполне здраво».
Впрочем, Фавье справедливо отмечает то, что видно по письмам Воронцова, - отсутствие страстности канцлера к делу, его склонность к меланхолии, вялость. Сталкиваясь с ним по делам, Фавье отмечал, что занятия тяготят Воронцова, что продолжительные беседы о политике ему утомительны, а «всякий спор, всякое противоречие даже и с его стороны, когда надо настаивать на чем-нибудь с жаром, отзывается в нем болезненно. Выходя из этих совещаний, он имеет вид усталого, еле дышащего человека с которым как будто только что был нервный припадок»
Прекрасные характеристики Воронцова, данные Фавье, подтверждаются другими современниками. Никто из них не писал о нем плохо - Воронцов не был ни беспощадным карьеристом, ни «пожирателем печени своего врага», ни страстным интриганом и честолюбцем, как его начальник. Бестужеву было трудно собирать компромат на своего заместителя. Никаких особых страстей и страстишек за Воронцовым не замечалось - разве что общая для двора Елизаветы любовь к театру, карточная игра «по маленькой», да пристрастие к постройкам. Его огромный дворец на Садовой поражал гостей роскошью; «его прислуга многочисленна, ливреи богаты, стол изобилен, но не отличается изысканностью и тонкостью блюд; приглашенных у него бывает много, но без особого выбора; расходы его громадны и производятся с видом небрежности, в которой нет ничего напускного. Его обкрадывают, его разоряют, между тем как он не удостаивает обращать ни малейшего на то внимания»
Хороший случай избавиться от Воронцова представился Бестужеву в 1745 году, когда Воронцов с женой отправился за границу. Елизавета Петровна рассталась с Воронцовыми очень тепло, желала супругам хорошо отдохнуть и подлечиться в Европе. Так, обеспокоенная полученными ею известиями о появлении у границ отрядов бошняков, известных своими разбойными нападениями на путников, императрица срочно послала к Воронцовым охрану
Обласканный государыней, Воронцов пустился в путь и тут допустил грубейшую ошибку, которой тотчас воспользовался его тайный враг. Как уже говорилось выше, Воронцов заехал в Берлин, был тепло принят Фридрихом, который подарил ему украшенную бриллиантами шпагу и вообще обласкал. Об этом Воронцов с восторгом написал в Петербург посланнику Пруссии Мардефельду. Бестужев же перехватил на почте письмо, скопировал его, как и другие материалы, говорившие с ясностью, что Воронцов ездил в Берлин не зря, что он получает деньги от пруссаков и что в нем Фридрих видит главного борца с Бестужевым. А как же иначе можно было понять строчки письма Фридриха секретарю прусского посольства в Петербурге Варендорфу? Король писал секретарю, чтобы тот тщательно «наблюдал, каким образом граф Воронцов, только что возвратившийся из Берлина, возьмется за дело и сможет опрокинуть своего противника» канцлера Бестужева
Все эти письма в виде препарированных Бестужевым экстрактов попали к Елизавете, и вернувшийся в Россию Воронцов сразу же почувствовал, что холодом повеяло от вчера еще такой доброй к нему императрицы. А он так нуждался в ее ласке и особенно подарках - разоренный роскошью, он все время испытывал нужду в деньгах. Поэтому-то и пришлось ему по-прежнему брать у пруссаков пенсион. Переписка о том, как ami imporant («важный друг» - псевдоним Воронцова в переписке Фридриха II) получает деньги и снабжает прусского посланника сведениями о делах при дворе - все это в виде копий расшифрованных писем исправно попадало в досье Бестужева. Когда же началось дело Лестока, Бестужев представил государыне сведения о неблаговидной деятельности приятеля Лестока Воронцова, прибавив сюда еще и несколько старых дел о связях Воронцова с высланной некогда матерью великой княгини Екатерины Алексеевны. Видя, как проваливается в бездну Лесток, он ожидал, что за лейб-хирургом последует и вице-канцлер. Но не тут-то было! Воронцов, к неудовольствию Бестужева, удержался.