Вскоре после вступления в должность О’Брайен произвел настоящий фурор, раскрыв предполагаемую схему мошенничества с присяжными, и заработал репутацию борца за нравственность. В первый год О’Брайена на посту окружного прокурора его имя то и дело появлялось в заголовках газет, он вел непримиримую войну против владельцев игорных домов и домов терпимости, получая похвалы от сторонников и даже соперников, таких как поддерживаемая демократами «Трой дейли пресс», которая в редакционной статье заявила: «Мы надеемся, что он будет продолжать в том же духе до тех пор, пока город не очистится от чумы, что имеет тенденцию очернять его некогда почетное имя».
Репутация О’Брайена укреплялась на протяжении всего 1903 года, когда Фрэнк Блэк уговорил его баллотироваться на пост мэра Трои, несомненно надеясь, что закоренелые ирландские католики-демократы Южного Троя проголосуют скорее за кандидата по фамилии О’Брайен. Демократы утверждали, что, уступив пожеланиям своей партии, О’Брайен стал «идеальным инструментом» республиканцев.
Сначала О’Брайен отказывался баллотироваться и заявлял, что доволен местом окружного прокурора, но если ты республиканец в Трое и хочешь иметь в политике будущее, ты обычно делаешь то, о чем тебя просят Фрэнк Блэк и партийная машина. Демократы насмехались над «скромностью» О’Брайена, указывая на то, что в случае победы на выборах он стал бы получать на полторы тысячи долларов в год меньше, что, по их мнению, и являлось настоящей причиной его нежелания баллотироваться.
В конечном счете Джозеф Ф. Хоган, поддерживаемый демократической машиной, кое-как победил в гонке, где были и насилие в день выборов, и обвинения во вмешательстве в недавно установленные аппараты для голосования (иными словами, то были типичные для Троя выборы).
В 1905 году О’Брайен был переизбран окружным прокурором и, не растеряв влияния, добился обвинительных приговоров по нескольким громким делам, в частности по делу Сэмюэля Кона, обвиняемого в похищении девушек в возрасте до восемнадцати лет. В заключительном слове О’Брайен в очередной раз продемонстрировал красноречие и ораторский талант: «Если эти, погрязшие в пороке, люди будут допущены в нашу среду, какие шансы у родителей воспитать мальчиков и девочек так, чтобы они стали достойными мужчинами и женщинами? Есть ли защита для семьи, если у нас терпят такие мерзости, а таким людям, как обвиняемый, дозволено оставаться безнаказанными?»
Называя О’Брайена «лучшим окружным прокурором в истории округа Ренсселер», контролируемые республиканцами местные газеты восхваляли его крестовый поход против «алого зла», направленный против уклоняющихся от налогов владельцев салунов, бильярдных, игорных домов и прочих заведений с дурной репутацией. «Он изгнал владельцев притонов из бизнеса и очистил часть города, которая в течение многих лет была зловонием в ноздрях приличных элементов» – так высказалась по этому поводу газета «Трой санди ньюс».
Однако О’Брайен не раз сталкивался с обвинениями в конфликте интересов. Даже после победы на выборах он оставался советником в Объединенной тяговой компании, электрической уличной железной дороге, работающей в округах Олбани и Ренсселер. Затем, в 1904 году, он был назначен советником, отвечающим за железную дорогу Бостона и Мэна в штате Нью-Йорк. Год спустя он выступал в роли адвоката защиты транзитной компании на суде после железнодорожной аварии, в результате которой погибло пятнадцать человек и еще тридцать получили ранения. При этом О’Брайен по-прежнему занимал пост окружного прокурора округа Ренсселер, что вызвало большое бурление в прессе.
Несмотря на это, к лету 1908 года амбициозный прокурор достиг еще более заметного положения. Он регулярно разъезжал по штату, сплачивая верных республиканцев в поддержку нужных кандидатов, иногда на стороне Фрэнка Блэка.
О’Брайен построил свою карьеру как прокурор, а не как детектив, поэтому в расследовании смерти у Тилз-Понд он прежде всего опирался на своего первого заместителя и близкого друга, сорокадвухлетнего окружного детектива Дункана К. Кея, который назвал одного из своих сыновей Джарвисом предположительно именно в честь окружного прокурора. Кей был гладко выбритым мужчиной с редеющими темными волосами и тонкими губами, которые, казалось, кривились в ухмылке независимо от обстоятельств. Он был если и не присягнувшим членом ААЗ, то как минимум ее сторонником.