俺(52)、不倫相手(28)に「あなたが離婚すると言ったら彼と別れるのに」と言われて、嫁に離婚を切り出してしまう