Жениться в третий раз Иосиф отказался наотрез. Канцлер Кауниц надоедал ему просьбами жениться и нашел подходящую невесту, французскую принцессу Елизавету. Но на Иосифа произвели впечатление слухи о внешности и аппетите девушки (говорили, что она съедает мяса и рыбы на сумму 100 миллионов франков в год), а потом он и сам убедился в их правдивости. Он написал Кауницу, что она стала такой полной, что он себе просто не может представить.
Конечно, здоровый молодой мужчина не мог обойтись без любовных приключений. По Вене ходили слухи, что его величество не гнушался веселых домов, но, будучи скуповатым, не проявлял той щедрости, которой ожидали от столь высокого гостя его мимолетные подруги. Жители столицы распевали куплеты о том, как «от нашей от Маргит кайзер Йозеф прочь летит». О наследнике император не беспокоился, с этим отлично справлялся его брат Леопольд, у которого было 16 детей. Иосиф во время своих посещений Флоренции заглядывал в детскую своего брата, Великого герцога Тосканского, и знакомился со своими племянниками. Обучая их разным играм, он на самом деле присматривался к детям и даже экзаменовал их. После этого он обычно писал брату письма и давал ему советы по поводу воспитания его детей.
Особый интерес у Иосифа вызывал старший племянник, эрцгерцог Франц, который однажды должен был унаследовать трон. Леопольд, как и Иосиф, был сыном эпохи Просвещения и начал воспитывать своих детей в соответствии с принципами Жан-Жака Руссо. Правда, на практике их особенно осуществить не удалось, так как образование и воспитание наследника трона интересовало всех: бабушку-императрицу Марию Терезию, дядю Иосифа, других родственников, а также министров, воспитателей и гувернеров. Между Хофбургом и палаццо Питти во Флоренции шел обмен длинными письмами о наследнике трона Франце. Периодически система воспитания пересматривалась и появлялся еще один учитель, пастор, епископ или офицер, в зависимости от того, какие недостатки обнаруживались в развитии эрцгерцога: духовные, телесные или моральные, которые казались особенно серьезными в тот момент.
Иосиф, как и его мать когда-то, искал по всей Европе подходящую партию для Франца. Ею стала здоровая, молодая немецкая принцесса Елизавета фон Вюртемберг. Император привез девушку в Вену, распорядился о ее переходе в католичество, велел подлечить ей зубы, немного расширил образование и, как добрый дядюшка, наблюдал расцвет юной красоты. Он действительно полюбил девочку, ему приятно было играть в Пигмалиона.
Потом в Хофбурге появился и шестнадцатилетний Франц. Во дворец пригласили новых гувернеров и стали лепить из мальчика будущего императора. Но Франц, к несчастью, не мог похвастать успехами, и Иосиф демонстрировал глубокое разочарование. Он хотел видеть умного и очаровательного мальчика, а находил застенчивого и неуклюжего юношу, который, конечно, мог дать правильные ответы, если его натаскали, но вряд ли был способен произвести хотя бы одну самостоятельную мысль.
Иосиф был жесток. Он позвал Франца однажды воскресным утром после мессы в свой кабинет и дал ему прочитать рукопись «Наблюдения, касающиеся дальнейшего воспитания и образования эрцгерцога Франца».
Несчастный мальчик читал о себе: «Он отстал в росте и силе, у него нет физической сноровки и не развита осанка. Короче говоря, он представляет собой мягкого, изнеженного, слабовольного человека без способностей, привыкшего, чтобы его вели, непригодного стать государственным деятелем. Он говорит невнятно, употребляет грубые выражения, у него резкий голос, и он глотает слова, отчасти из лени, частью по небрежности, отчасти из-за неуместной застенчивости». Прочитав, Франц поклонился и поблагодарил императора за труд. Трудно представить, что перенес этот мальчик, пытаясь соответствовать требованиям дяди. Франц боялся ездить верхом, из-за этого Иосиф при всех кричал на него. Франц был застенчив, а Иосиф требовал от него раскованности. Франц любил танцевать, но дядя высмеивал его: «Ритм и легкость не являются сильными сторонами Франца».