В общем-то, ваш муж прав - проблема действительно не в посторонней женщине, а в вас самих. Но дети тут ни при чем! Сложности в ваших отношениях, а разное общение с детьми - только признак вашего с мужем межличностного отчуждения. Подобные проблемы действительно решаемы, если их решать. И опять же заочно здесь можно дать не так много рекомендаций.
По всей видимости, вы тоже задолго до появления любовницы стали психологически чужими людьми. Да фактически вы об этом и пишете - что у него была своя жизнь, а у вас своя. И наверняка те разговоры, которые вы предлагали ему для спасения семьи, были не столько разговорами, сколько бессознательным чтением нотаций... Понятно, что он отмахивался или отмалчивался: возможно, каждый из вас в глубине души считал (а то и считает поныне), что во всех ваших семейных проблемах виноват именно другой супруг, и что ему-то и надо меняться: скажем, вы говорили мужу о разрушении семьи, а он полагал, что вам не ему надо говорить об этом, а самой изменить свое поведение...
И скорее всего вы и сейчас остались душевно чужими (несмотря на то, что стали любовниками). Но если вы действительно любите вашего мужа как реального человека, а не как придуманный образ, начните с изучения того, чем он живет! В частности, чего он ждет от создавшейся ситуации? Он готов вернуться к вам, но ему сложно принять окончательное решение? Или ему на самом деле нужен "гарем" из двух женщин? Или он до сих пор в силу собственных психологических проблем не находит понимания ни с одной из своих женщин (а их было целых три, считая его первую жену) и внутренне готовится поискать что-то еще? Кстати, учтите и то, что он сам может не знать, чего хочет. Поэтому спрашивать напрямую наверняка бесполезно.
И вот вам, пожалуй, и ответ на вопрос, как вернуть мужа: узнайте, "как он устроен". Точно так же перед тем, как управлять, к примеру, самолетом, требуется изучить, где у него какие кнопки и как они действуют. Иначе управления не получится. Да, желая удержать мужа в семье, вы обихаживали его, проявляли нежность и повышенное внимание - но такое ли внимание было ему тогда нужно, и внимание ли вообще? Ведь это были в большей степени общеизвестные стандартные меры, и если у вашего мужа были не совсем стандартные проблемы. То эти меры и не помогли (если не ускорили разрыв). Так что как только вы поймете, чего ему на самом деле надо, чем он живет и в чем нуждается прежде всего психологически - он ваш.