Конечно, тревожное детство не было хорошей подготовкой к правильному образованию и воспитанию. Правда, вслед за окончанием бунта отец Крылова вышел в отставку и поселился в Твери, где получил место председателя губернского магистрата. Но условия жизни даже губернского города были не таковы, чтобы поправить дело. Ни постоянных пансионов, ни городских школ в то время еще не знали. Народные училища стали возникать только с 1786 года. Современник Крылова, известный поэт и баснописец Дмитриев, сын родового помещика, не жалевшего средств для его образования, обучался однако арифметике у гарнизонного солдата, сержанта Копцева, от которого слышал одни только «непонятные слова»: искомое, делимое и т. д.
Все же, наряду с «обязанностями чинов», Дмитриев в пансионе знакомился с историей и писал письма «по темам». Маленький Крылов лишен был даже такого скудного образования. Учителей русского языка тогда не было, как не было их и позже, даже в начале царствования Александра; взамен того учили французскому языку я мифологии. Не было учителей и для Закона Божия. Сельские священники, происходя из дьячков, знали только по навыку одну церковную службу, а о катехизисе не имели понятия. Между тем любознательность в обществе росла. Родители Крылова воспитаны были в то время, когда даже самое слово «воспитание» понимали совсем в ином смысле. «Могу сказать», говорила одна барыня, «мы у нашего батюшки хорошо воспитаны: „одного меду невпроед было“». Правда, если не было еще воспитания и правильного учения, то был уже Ломоносов, пример которого действовал, возбудительно на многих, а начало царствования Екатерины II создало обширную литературу, переводную и оригинальную. К счастью отец и мать Крылова понимали и ценили образование. Отец его оставил после себя целый сундук книг, что в то время было большой редкостью и роскошью, особенно при походной жизни бедного армейского офицера.
Председателем губернского магистрата в Твери отец Крылова был недолго, и через три года умер, оставив семью — нашего Крылова, одиннадцатилетнего отрока, с матерью и младшим братом Львом — без всяких средств. Пока отец был жив, он помогал матери в воспитании сына и учил его, чему мог, по крайней мере, русской грамоте. Теперь мать могла лишь давать наставления детям в правилах религии, насколько дозволяло ей время, уходившее на хозяйство и хлопоты о пропитании семьи. Кроме того, юноша учился французскому языку у гувернера-француза в доме помещика Львова, вместе с его детьми. Благодаря почетному положению отца Крылова в городе, ему не трудно было подучить от Львова дозволение сыну приходить на уроки его детей. Это было в то время в общем обыкновении, но часто влияло дурно на характер детей, так как гувернеры не забывали указывать ученикам, на разницу их положения и воспитывали часто спесивость в одних, зависть и лесть в других. Может быть, поэтому Крылов учился неохотно. Мать лаской и разными средствами старалась, однако поощрять его. Крылов сам впоследствии, изменив раз своей обычной сдержанности и молчанию, простодушно ответил г-же Карлгоф на вопрос о том, отличался ли он чем-нибудь в детстве: «я, матушка, был дитя, как и все: играл, резвился, учился не отлично, иногда меня и секали». Но так ли это? Не отличаясь ничем от сверстников, при обстановке — мало удобной для образования и развитая, едва ли мог явиться 14-летний юноша уже автором литературного произведения слабого, но не лишенного интереса и таланта.
Девяти лет Крылов записан был — конечно, только формально — подканцеляристом в Калязинском магистрате.
Со смертью отца перечислили его с тем же чином в Тверской магистрат на действительную службу.
Одиннадцати лет становится он опорой семьи. Положение безотрадное, но Крылову, можно сказать, было счастье. Заключалось оно в том, что родители его были честные люди. Протянуть всю жизнь военную лямку, потом занять место председателя магистрата и хотя бы в три года службы ничего не оставить семье, для человека способного, каким был отец Крылова, значило в то время быть честным человеком.
В прошении о пенсии па имя государыни вдова писала, что муж оставил ее в нищете, так как, «не имея вотчин», содержал семью одним жалованием. Но вдовьи слезы не дошли до императрицы. Да и наивна была ее просьба. Жалованье в то время гражданским чинам давалось ничтожное, взамен того им предоставлялось «кормиться». «Кормление» заключалось в «благодарности» и взятках. С этим явлением мирилась сама Екатерина, и строгие указы против взяток не тревожили сна Частобраловых и Кривосудовых.