Маркиш родился 7 декабря 1895 г. в бедной семье, в местечке Полонное на Волыни. Его отец был портным и домашним учителем, мать продавала сельдь на рынках. В хедере он изучал древнееврейский язык и читал Библию. Рано оставив семью, Маркиш уже в тринадцать лет был помощником кантора в Бердичеве. В пятнадцать лет он начал писать стихи по-русски. Добывая пропитание поденной работой, частными уроками, а позже став банковским служащим, он сумел экстерном сдать экзамены на аттестат зрелости.
В 1914 г. девятнадцатилетний Маркиш был призван в царскую армию и служил до февраля 1917 г. Затем он уехал в Екатеринослав. Его первое стихотворение «Дер кемпфер» («Борец») было опубликовано в газете того же названия на идиш. В 1918 г. было опубликовано его стихотворение «Волынь», позже в Киеве в альманахе на идиш «Эйгнс» («Собственное») вышли другие стихи. Уже в 1920 г. упрочилась репутация Маркиша как авангардистского поэта. Он был самым молодым членом еврейского поэтического триумвирата в Киеве, в который входили также Давид Гофштейн и Лев Квитко. Когда во время погромов на Украине появились слухи об убийстве Маркиша, в еврейской печати можно было прочитать некрологи, посвященные ему. По поручению еврейской секции при ЦК компартии Украины он в 1921 г. переселился в Польшу, чтобы вести пропагандистскую работу среди еврейских писателей. Там вышло и его знаменитое стихотворение «Куча», название которого намекает на сваленные кучей трупы жертв погромов. Вместе с другими поэтами он основал литературный журнал «Халиастре» («Банда»), который иллюстрировался Марком Шагалом. С 1922 по 1923 г. Маркиш посещал центры еврейской литературы в Париже, Лондоне и Берлине, ездил также в Палестину. Там он сказал, что два события оправдывают сотворение мира: коммунистическая революция в России и воссоздание Палестины сионистами. В 1924 г. Маркиш основал в Варшаве журнал «Литерарише блетер», в котором опубликовал многочисленные рецензии, стихотворения и эссе филологического характера. В это время поэт писал, экспериментируя, стихотворения, навеянные образами большого города и совершенные по форме сонеты, посвященные его родине. Его неоднократно приглашали на чтения и доклады в Польше, в Берлине и Париже. В Париже красивый, темпераментный мужчина стал принцем богемы Монпарнаса, другом всех знаменитых художников, еврейских и французских поэтов. Он часто сиживал в знаменитых кафе «Дом» или «Ротонда», дискутируя, например, с Ильей Оренбургом о политике и литературе. С Шагалом, с которым Маркиш познакомился еще в России, его связывала крепкая дружба, так как тот тоже был еврейским поэтом.
Возвращение в Советский Союз в 1926 г. вызвало у поэта творческий и личностный кризис. Какой тесной, мелочной и бюрократической должна была казаться ему Россия после Берлина, Варшавы и Парижа, сколь малыми представлялись возможности и шансы развития современного еврейского центра культуры и языка! Литваков, «царь» еврейского языка и культуры, произвел на Маркиша тяжкое впечатление. Когда в 1928 г. «Литерарише блетер» в Варшаве опубликовал его стихотворение, ему пришлось выступить с публичной самокритикой, так как советскому поэту не позволялось печататься за границей. Впоследствии официальные критики не раз клеймили его произведения как проникнутые националистической ограниченностью. Несмотря на свой революционный энтузиазм, Маркиш не мог отрицать корней своего творчества, уходивших в еврейскую традицию, в том числе светскую. Глубокие раны, нанесенные и ему лично, и евреям России, он не забыл, и свойственная его натуре пылкость противилась заурядности и догматизму литературных чиновников-бюрократов, обвинявших его в слишком большой терпимости при изображении еврейской жизни до революции, а также по отношению к традиционным евреям. В поэтическом произведении «Нит гедайгет» («Не унывайте», 1931), которое Маркиш позже переработал в пьесу, он описывает жизнь еврейских колонистов в Крыму, в Джан-кое. Еврейских крестьян всегда окрыляли надежды на нормализацию жизни евреев в России. Пьесу «Пятый горизонт», посвященную жизни шахтеров Донбасса, инсценировал театр им. Вахтангова.
Вместе с женой Эстер и сыном Симоном (второй сын Давид родился в 1938 г.) Маркиш получил квартиру в писательском доме-но-востройке в Москве. Соседями этой семьи были, в частности, Борис Пастернак, Осип Мандельштам, Михаил Булгаков, Илья Ильф, Виктор Шкловский, поэт Самуил Галкин и профессор еврейской литературы Исаак Нусинов. Вскоре Маркиш подружился с Борисом Пастернаком и Осипом Мандельштамом. На первом съезде советских писателей в 1934 г. Маркиш был избран председателем еврейской секции Союза советских писателей. Председательствовал на съезде Максим Горький, в числе гостей были Андре Мальро и Рафаэль Альберти. С теоретическими докладами выступили Николай Бухарин и Карл Радек.