友人に社交辞令で「いつでも泊まりに来ていいよ」と言ったら、アポなしで泊まりに来た。断ると怒ってしまったんだけど、どうする事が正解だったんでしょうか?