Бывший муж мешает спокойно жить

Пред история.
Как бы это грубо не звучало, но замуж я вышла уже будучи беременной и прожив всего месяц с будущим мужем до того как узнала, что беременна. Родилась дочь, до родов он пил и бил периодически меня, хотя как говорит:»бил это когда увечья, а я дал просто пощечину». После того как родилась дочь продолжал то пить, то употреблял легкие наркотики(траву).С ребенком не помогал никогда, так же и по дому-не мужское дело, как говорил.
Не знала я человека от которого забеременела-вот и получила несколько лет жизни в аду.
Я развелась, когда ребенку было 1.5 года,дочке вот уже 4,5 года. Не запрещаю общаться ей с био-папой.
Сейчас я счастлива. 1.5 года назад когда мы с дочкой отдыхали на море, я случайно встретила свою первую любовь)мы начали встречаться в 11-ом классе и провстречались 5 лет, он у меня первый мужчина, а я у него первая женщина, я всегда считала наши отношения идеалом. Но волею судеб мы тогда разошлись. и вот не виделись почти 5 лет и встретив друг друга поняли, что больше не хотим терять друг друга. С дочкой он идеально ладит. Он ей папа о котором все дети мечтают, называет дочка его по имени. С родным отцом она видится раз в 3-4 месяца. И у меня такая ревность появляется.Я ревную собственную дочь. Не заслуживает он ее любви. А еще просто он оскорбил меня как женщину когда то и каждый раз когда он общается с дочкой пытается как то задеть меня, или лезет с своими нравоучениями. Он то любит понятное дочь,денег на ее жизнь(алименты)не дает. Просто когда видятся покупает игрушки. Когда я ему предложила решить цевилизовано через суд все начал угрожать, что встретится со мной в суде когда сделает меня инвалидом. Психически не уравновешенный человек которого я до сих пор боюсь. И вот как мне перестать так болезненно воспринимать все это. Какими словами донести к нему, что бы не лез в нашу семью. Дочку он пытается настроить против отчима. Говорит, что это просто дядя с которым живет твоя мама. Это же не так, он ей больше отец, чем сам био папа. Или с дураком спорить — самой такой стать? Как стать выше всей этой жизненной ситуации и не портить себе лишний раз нервы из за выходок био отца?