Шерлок Холмс и доктор уотсон отправляются в указанное место вместе с ней. Перед выходом она показывает Холмсу странную записку, найденную в вещах пропавшего Морстена, на которой был изображен план какого-то помещения, с нарисованными там же в ряд четырьмя крестами, соприкасающимися друг с другом перекладинами и с претенциозной подписью: «знак четырех». Встреченный ими человек везет их в кэбе в южную часть Лондона. Там они знакомятся с маленьким рыжим человеком с блестящей лысиной на голове. Оказывается, что он — один из сыновей-близнецов скончавшегося шесть лет назад майора Шолто — Тадеуш Шолто. Его отец и отец мисс Морстен некогда вместе служили в Индии в колониальных войсках. Там майор Шолто, таинственным образом разбогатев, подал одиннадцать лет назад в отставку и вернулся в Англию с богатой коллекцией восточных редкостей и целым штатом туземных слуг. Тайну приобретения сокровищ и то, где они хранились, майор не открывал никому до самой своей смерти, Почувствовав ее приближение, он позвал к себе сыновей и поведал им, как умер капитан Морстен. Оказалось, что, приехав десять лет назад в Лондон, он пришел к Шолто и у них возник спор по поводу дележа сокровищ, о которых Морстен знал и половина которых ему причиталась. У него, страдавшего больным сердцем, случился приступ. После чего он упал и, ударившись головой об угол ларца с сокровищем, умер. Боясь, что его обвинят в убийстве, Шолто скрыл тело капитана и ничего не сказал его дочери, когда несколько дней спустя, разыскивая пропавшего отца, она пришла к нему домой. Перед смертью он хотел открыть сыновьям также и то, где спрятан сам ларец, однако сделать это ему помешало страшное лицо за окном. Он умер, унеся тайну с собой в могилу. Его сыновья, чувствуя долг перед мисс Морстен и желая избавить ее хотя бы от нужды, стали посылать ей ежегодно по одной жемчужине из жемчужных четок, в свое время вынутых их отцом из ларца. До поры до времени Тадеуш Шолто и его брат Бартоломью даже не догадывались, где спрятаны сами богатства. Однако накануне, после многолетних безуспешных поисков, Бартоломью обнаружил их на чердаке своего дома, в потайном замурованном помещении. Он сообщил об этом Тадеушу. Тот, невзирая на возражения брата, унаследовавшего от отца его скупость, решил поделиться сокровищами с мисс Морстен. Все четверо едут к Бартоломью. Однако обнаруживают, что он убит пущенной ему в шею отравленной колючкой, что сокровища похищены и что на месте преступления оставлен клочок бумаги со «знаком четырех».
Мелкие детали заставляют Шерлока Холмса предположить, что преступниками являются два человека — беглый каторжник по имени Джонатан Смолл, у которого деревянный протез вместо правой ноги, и Номер первый, дикарь с Андаманских островов, маленький, очень злобный и проворный. После того как он помог Смоллу вместе с ларцом спуститься из окна по веревке, он закрыл ставни изнутри и выбрался через чердак. При бегстве он испачкал ногу в креозоте, и Холмс с помощью собаки-ищейки Тоби дошел по его следам до реки. Там он узнал, что преступники сели на нанятый катер «Аврора». Когда план Холмса выследить катер с помощью нанятой им ватаги мальчишек срывается, он сам, переодевшись старым матросом, отправляется на поиски «Авроры» и пытается разыскать ее в доках. Это ему удается. Он вызывает на помощь инспектора Скотленд-Ярда Этелни Джонса, расследующего это убийство, и они вместе с доктором уотсоном пускаются в погоню на полицейском катере и догоняют преступников с ларцом. При погоне дикаря приходится убить, потому что он начинает стрелять в преследователей своими ядовитыми колючками. Доктор уотсон отвозит ларец к мисс Морстен, однако в конце концов обнаруживается, что он пуст, чему доктор чрезвычайно рад, поскольку преграда, возникшая, по его мнению, между ним и молодой женщиной из-за ее предполагаемого богатства, исчезает. Теперь он может свободно признаться ей в любви и предложить свою руку и сердце. Мисс Морстен находит его предложение весьма привлекательным.