不倫相手の既婚男性が離婚してくれたけど、一緒に暮らしたくない これは裏切り行為ですか?