Покидал он дом аптекаря лишь с наступлением вечера, когда с рынка начинали тянуться повозки сельских жителей. Кони неспешно двигались на юг, к Вулсторпу. От Южных ворот шёл крутой Спиттлгэйский холм — здесь нужно было облегчить подъём лошадям. Погружённый в свои думы, Ньютон не раз забывал на вершине холма опять сесть верхом на лошадь и вёл её под уздцы все десять миль до Вулсторпа. Говорят, был и другой случай, когда задумавшийся о чём-то Исаак упустил лошадь и пришёл домой, держа в руках лишь уздечку.
Домашним он казался несносным. Девять месяцев, проведённых Ньютоном дома, стали кошмаром и для него, и для близких, и для слуг. Среди грехов того времени, потребовавших покаяния и через три года, Ньютон записывает:
«Отказался выйти на двор, несмотря на просьбу матери»; «На всех набрасывался»; «Скандалил с матерью»; «С сестрой»; «Ударил сестру»; «Поссорился со слугами»; «Назвал Дороти Роуз клячей».
Он яростно сопротивляется судьбе, подталкивающей его к хозяйскому ремеслу. Теперь он тоскует о столь легко дававшейся ему школьной науке, ясно начинает ощущать своё, иное предназначение.
Ньютон привёз с собой в Вулсторп небольшую записную книжку, на первом листе которой торжественно, при матери, вывел дату покупки — март, 1659. Появились там и первые записи — следы чтения Овидия, которого он продолжал с увлечением штудировать. Следы обучения латыни прослеживаются явно, но нет ни малейших признаков обучения математике! А ведь всего через пять лет Ньютон подойдёт к самым её вершинам.
В записную книжку стал он заносить то, что впоследствии стало его «Садом», по его же определению — свои идеи и мысли, свои первые изобретения и эксперименты, свои вполне осуществимые и несбыточные проекты. «Сад» требовал времени и одиночества, хозяйство и ферма стали врагами «Сада». Ферма отвлекала его от любимых занятий, и он проникался к ней постоянно растущим отвращением. В одиночестве проводил он свои дни.
Домашних, конечно, раздражало, что он не проявлял ни малейшего интереса к работе по хозяйству и на ферме, как некогда не проявлял ни малейшего интереса к занятиям. Слуги перешёптывались между собою, убеждая друг друга в том, что Исаак — глупый и никчёмный человек, который никогда не сможет быть настоящим хозяином.
— Богатый наследник со странностями, — говорили о нём. В лучшем случае.
А он был рад, когда ему позволяли побыть одному, и проводил многие часы, забившись в углу своей «студии», мастеря что-то, рисуя картинки и помещая их в самодельные рамы. На фоне практических планов матери и реальных нужд хозяйства всё это выглядело непростительным ребячеством.
Лишь мастер Стокс, его грэнтэмский учитель, видел дальше других и судил лучше. Он восхищался способностями Исаака и не уставал всем доказывать, что для мира было бы громадной потерей, если столь редкий дар будет похоронен в деревенской глуши. Он настаивал на том, чтобы послать юношу обратно в школу, и готов был даже выплачивать за него деньги за ученье — сорок шиллингов в год (школа была бесплатной лишь для коренных грэнтэмцев). Он обещал подготовить Исаака и к университету. Он готов был поселить его в своей квартире при школе и помочь ему закончить полный курс обучения.
Советовали отдать Ньютона учиться и дядя Вильям Эйскоу, и брат жены доктора Кларка Гемфри Бабингтон, член Тринити-колледжа в Кембридже, и тихий странник, однажды нашедший приют у очага Анны, который видел Исаака, пасущего овец, а на самом деле — погружённого в свои мысли. Все они сыграли свою роль в том, что в конце концов почти все обитатели Манора признали, что настоящего хозяина из него не выйдет и нужно ему найти другое дело. Лишь мать была слепа. Мастер Стокс попросил жену поговорить с Анной. И Анна наконец согласилась.
Ньютон снова в Грэнтэме, он живёт теперь у мастера Стокса, во флигеле при школе, окнами глядящем на заросший травой церковный двор. Он увлечён Библией, грамматикой, чуть-чуть геометрией, легко запоминает сотни, тысячи имён, фамилий и дат из древней и классической истории, неплохо овладевает древнегреческим языком, немного французским, по-прежнему обожает классиков. Его время отдано работе ума и рук. Он не отвлекается ни на что иное. Любимая книга — Джон Бейтс «Тайны природы и искусства», купленная по случаю за два с половиной пенса. Ньютон переписывает из неё в свою записную книжку целые абзацы, касающиеся рисования, ловли птиц, изготовления чернил самых различных цветов и тому подобного. Там описаны, кстати, знаменитая ветряная мельница и столь же знаменитая коляска. Там есть сведения, как делать краски, как делать вино, и масса других интересных вещей.