Родился в семье крупного землевладельца Области Войска Донского. Закончив с золотой медалью Новочеркасскую гимназию, поступил в Московский университет, но курса не закончил. Некоторое время занимался сельским хозяйством, а в январе 1892 областным дворянским собранием был избран почетным попечителем Новочеркасской гимназии. В октябре того же года Ефремов становится почетным мировым судьей Донецкого округа, в следующем году — членом Донецкого окружного по крестьянским делам присутствия. В последующем Ефремов вплоть до Февральской революции 1917 каждые три года переизбирался в почетные мировые судьи, причем два срока исполнял обязанности председателя съезда мировых судей. Эту должность он долгое время совмещал с выполнением других обязанностей. И. Н. Ефремов принимал активное участие в работе международного третейского суда (был арбитром).
В 1906 И. Н. Ефремов от землевладельцев Области Войска Донского получил мандат в 1-ю, а впоследствии в 3-ю и 4-ю Государственные думы. Он стал одним из основателей «Партии мирного обновления». Принимал самое деятельное участие в организации Межпарламентского Союза — избирался в его Центральное бюро, являлся делегатом ряда конгрессов, издал несколько книг по проблемам международных отношений.
В феврале 1917 года, когда началась революция, Иван Николаевич стал членом Временного комитета Государственной думы, а затем комиссаром Временного правительства в Министерстве внутренних дел. Позднее входил в состав Особого совещания по подготовке Положения о выборах в Учредительное собрание. В мае возглавил созданную при его участии радикально-демократическую партию.
10 июля 1917 И. Н. Ефремов вошел в состав Временного правительства в качестве министра юстиции и генерал-прокурора. 21 июля 1917 Ефремов вместе с рядом других министров подал в отставку, но уже через несколько дней был назначен министром государственного призрения и возглавил Малый Совет министров. 25 сентября направлен Полномочным представителем Временного правительства в Швейцарию. Там до него дошла весть об Октябрьской революции. Советскую власть он не признал и отказался подчиняться распоряжениям Народного комиссариата иностранных дел.
В эмиграции Ефремов активно участвовал в политической жизни. Был одним из учредителей и товарищем председателя Бюро русской (эмигрантской) ассоциации Лиги Наций. В 1932 издал три тома своих трудов по проблемам международного примирительного производства.
И. Н. Ефремов умер 13 января 1945.