立憲・泉代表、辞任しない考え「与党への批判票も多く出たのではないか」