我与前男友相恋七年最后分手。后来与相识半年的老公结婚，婚后我们过得不是很融洽，因为婆媳，小姑子的关系闹离婚一次。最后我没签字为孩子留了下来。日子就这样将就的过着。相隔五年前男友回来找我，说自己一直没忘记我。这些年他经历了很多人生中重大的事所以他现在稳定了想联系我跟我在一起。我拒绝了。但我现在很难受。我该怎么办