توفي ابن رجب سنة ٧٩٥ هـ رابع شهر رمضان، وقيل في رجب، بأرض الخميرية ببستان كان استأجره، وصلي عليه من الغد، ودفن بالباب الصغير جوار قبر الشيخ الفقيه الزاهد أبي الفرج عبد الواحد بن محمد الشيرازي، ثم المقدسي، الدمشقي، المتوفى سنة ٤٨٦ هـ، وهو ناشر مذهب الإمام أحمد بن حنبل ببيت المقدس ثم بدمشق.
وفي قصة وفاته ما يدل على زهده وانتظاره الموت، قال ابن ناصر الدين الدمشقي (^١): لقد حدثني من حفر لحد ابن رجب أنّ الشيخ زين الدين بن رجب جاءه قبل أن يموت بأيام، قال: فقال لي: احفر لي هنا لحدًا، وأشار إلى البقعة التي دفن فيها، قال: فحفرت له، فلما فرغ نزل في القبر، واضطجع فيه فأعجبه، وقال: هذا جيد، ثم خرج.
قال: فوالله ما شعرت به بعد أيام إلا وقد أتي به ميتًا محمولًا في نعشه، فوضعته في ذلك اللحد وواريته فيه.