Сложные отношения из-за детей от первого брака.

Ситуация такова. Я со школы встречался с однокласницой (4 года), классика, она отличница, а я раздолбай. В какой-то момент отношения зашли в тупик и в этот момент меня «окрутила» моя коллега. И я бросил свою первую любовь. Быстро женился за 4 месяца. Со временем у нас родилось двое детей. Я работал и занимал хорошую должность. Все ишло своим чередом. Прошло 8 лет и я решил позвонить свей первой любви, ведь про неё я никогда не забывал. Она все это время жила в другом городе и я мало чего о ней знал. Позвонил и оказалось, что она с тех пор сама и никого у нее не было. Вобщем все закрутилось. Мы встретились один раз потом другой и спустя пару месяцев я бросил семью и уехал к ней. Решение мне далось очень трудо, но она меня убедила в том, что ты бросаешь не детей, а её. И убедила меня, что я буду общаться с детьми сколько этого пожелаю. Прошло пару месяцев и я развелся официально. Сделал предложение своей любимой женщине и на этом все…

Спустя год у нас родилась прекрасная дочь. Уже прошло три года с хвостиком как мы живем вместе.

Моя проблема заключаеться в том, что моя любимая женщина меня так и не простила за то, что я её когда-то броил и женился на другой. Замуж она так за меня и не вышла. С детьми общать не разрешает, а если я встречаюсь и ними, то у нас скандал затягивается на неделю. С тех пор как я к ней переехал мы живем в её квартире и за её счет, она занимает должность ген. дир. в частной фирме и хорошо зарабатывает. У меня с работой ничего не получается, за что не берусь все «рушиться» и «разваливаеться». От нее же слышу постоянные упреки, что я отдал все «ей», а мне с дочерью ничего дать не можешь. Но когда я пытаюсь разорвать отношения, то она меня не отпускает. Да и я сильно никуда не хочу уходить, ведь я люблю её и дочь. Самое главное, что в быту и в вопросах воспитания ребенка у нас идилия! Я не пью, не курю, не гуляю, во всем помагаю. Много работаю. Год назад создал компанию, но пока большой прибыли не видел.

Сейчас стал вопрос ребром, жить нам вместе или расходиться. Вот я не знаю, как мне поступить? Прекратить полностью общение с детьми от первого брака и остаться с любимой женщиной и дочерью или разойтись и общаться со всеми детьми на растоянии. 

Я морально уничтожен и сам не могу адекватно принять решение.