Пост Святой Ольги, основанный за два года до этого, был уже крепким военным поселком. Семьи, прибывшие на «Японце», должны были основать здесь новое село, которое так и назвали — Новинка. Купец Семенов — все пассажиры уважительно называли его Яковом Лазаревичем, приметив серьезность и основательность этого человека, — приехал в Ольгу не с пустыми руками. Среди товара, который он привез с собой из Николаевска, были синяя и белая бязь, сукно, мануфактура. Торговля шла отчасти на серебро, отчасти — в обмен на соболя. Для жилья Семенову выделили в Ольге местный лазарет, благо больных в молодом поселке не было.
Ольга стала для Семенова базой торговых экспедиций. По тропам Уссурийской тайги, ведя за уздцы тяжело нагруженную товаром лошадь, коробейник обошел все восточное побережье. Немногочисленные местные жители встречали его радушно. Купец умел говорить по-китайски, и это позволяло ему находить общий язык с покупателями и успешно торговать. Бывало, Семенов привозил домой по три-четыре тысячи рублей серебром, но ему грезился другой размах. Плох тот купец, который не мечтает сделать товар из воздуха и продать его с выгодой. Так и Я. Л. Семенов, видевший вокруг себя огромное богатство — дары природы, не переставал думать о том, как использовать их. Особое внимание он обратил на морскую капусту, которой немало добывалось в окрестностях Ольги. Семенов проводил много времени на побережье, посещая места сезонного промысла ламинарии пришлыми китайцами. Купец неспеша выяснял рынки сбыта, цену и многие другие тонкости торговли. Тогда-то Семенов и сделал для себя главный вывод — надо перебираться на юг Приморья, поближе к торговым ярмаркам Китая и Кореи.
31 октября 1861 г. Я. Л. Семенов с женой и сынишкой появился в посту Владивосток. Начальник поста лейтенант Е. С. Бурачек выделил предпринимателю под лавку небольшую комнатку в офицерском флигеле. Но Семенова интересовала не столько торговля с солдатами и офицерами нового поста, сколько возможность попасть на знаменитую ярмарку в корейском городе Хунчун. Он упрашивал лейтенанта Бурачка сходить туда, но поддержки не нашел. Это нисколько не обескуражило Семенова, ведь рядом был еще и Китай, основной потребитель морской капусты, и для начала купец решил осесть во Владивостоке, который ему весьма понравился.
Всякое серьезное дело в те времена начиналось с покупки земли. 15 марта 1862 г. начальник поста Владивосток зарегистрировал самый первый акт ее покупки купцом Семеновым и выдал ему свидетельство. «Дано Николаевскому купцу 3-й гильдии Якову Семенову в том, что мною отведено ему для постройки дома и хозяйственных зданий, — земли в тридцати двух саженях от офицерского флигеля к Ю. 3. по линии домов двадцать сажень и в ширину двадцать сажень, всего четыреста кв. сажень, и для покоса болотистое место на восточном берегу Амурского залива, в полутора верстах от поста, что свидетельствуется моею подписью и печатью». Это был первый документ о выделении земли в посту Владивосток частному лицу. Первый дом семьи Семеновых до наших дней не сохранился, но около этого места на Светланской улице до сих пор стоит другой дом купца, построенный в конце 1902 г. (ул. Светланская, № 44).
В 1864 г. Яков Семенович решил рискнуть: он купил у промышленников партию морской капусты и повез ее в Шанхай на зафрахтованных парусных судах. Но первый опыт оказался неудачным. Семенов выяснил, что сбыт капусты идет в основном не на юг, а на север Китая. Пришлось купцу отправляться на английском трампе в Чифу и там, заплатив немалую сумму за страховку и пошлину, за бесценок сбыть свой товар. Но Семенов не унывал. Он готов был и сам приплатить, лишь бы разузнать все нити торговли морской капустой. И ведь узнал! Тогда же возникла мысль открыть таможню во Владивостоке. В том же году капитан 2-го ранга Н. Я. Шкот писал по этому поводу: «В южных гаванях, вверенных моему управлению, проживает с давнего времени независимо несколько племен китайцев, основавших там свои поселения до времени нашего теми гаванями владения. Эти китайцы между другими промыслами занимаются ловлею морской капусты, которую потом сбывают в Шанхай. Принимая во внимание, что подобный сбыт китайцами капусты, ловля которой производится в наших пределах, влечет ущерб казенного интереса, следует наложить на тех китайцев за право ловли капусты пошлину».