稲垣吾郎、ジャニー喜多川さんお別れ会不参加の意向