Семья или женское счастье

Здравствуйте.
3 года назад я вышла замуж, через год у нас родился малыш. Из-за финансовых трудностей муж уехал на заработки, его не было 3 месяца, после приехал на месяц и снова уехал. Тут то и начались проблемы, мы живём с мужем, его братом, который стал крестным нашего ребёнка, никогда никаких предпосылок что между мной и его братом что-то может быть не было,но когда я осталась одна с ребёнком — он был единственный, кто находился рядом. Сам он воюет, и приезжает домой на неделю раз в месяц. Когда в очередной его приезд мы сели разговаривать, то поняли что что-то между нами есть, тут закрутился тайный роман, естественно отношения с мужем испортились, я попросила его вернуться чтобы Попытаться наладить наши отношения, но увы, все безуспешно. Я не могу с ним испытать того, что чувствую со своим кумом, его братом, крестным моего ребёнка, такое ощущение, что всех предыдущих отношений в моей жизни не было, и я никого не любила. Но быть с этим человеком мы не можем, это аморально, к тому же он воюет, никаких звонков, сообщений пока его нет дома у нас нет, тоесть у нас присутствуют любовные отношения только тогда когда он приезжает домой, раз в месяц, когда дома — Отдаётся мне полностью. Ему 31 год и у него не было никогда отношений, говорит что может дать мне только лёгкость, никаких обязательств, что он не готов, что писать и звонить не может когда уезжает так как там где он Находится — ему просто не до этого. И муж очень меня любит, ребёнка любит, я пару месяцев назад призналась, что не люблю его больше, отпустить меня пока он не смог, надеется, что все возможно наладить, и я пытаюсь изо всех сил, но я так и не могу испытать с ним того, что испытываю к его брату, но его мучать я не хочу, уже думаю как уйти… Пока нет финансовой возможности.
Много раз с его братом ставили точку, но каждый раз когда он приезжает сексуальное влечение просто накатывает и все начинается по новой. Иногда он говорит, что видит как я мучаюсь и ему меня жалко. Вобщем дома он один, как только он уезжает — его как будто подменивают.
Я хотела бы быть с ним если бы и он дал мне уверенность в завтрашнем дне, но увы… У меня ребёнок и я думаю в первую очередь о нем, но и обыкновенной женского счастья мне тоже хочется.
Не знаю как справится с этим, не знаю как лучше поступить, пустить все на самотек или как то действовать…