وإذا كان من حق الخليفة أن يبقى في منصبه طول حياته فإن من حق الأمة أن تعزله إذا تغير حاله، لأن اختياره للخلافة مشروط بتوفر شروط معينة فيه، فإذا ظلت هذه الشروط قائمة فيه فهو قائم في منصبه، وإذا انتفت عنه كان أهلًا لأن ينفى عن المنصب.
وتتغير حال الخليفة أو الإمام الأعظم إما بجرح في عدالته أو بنقص في بدنه على ما يرى أبو الحسن الماوردي.