بعد حياة حافلة بالعلم والعمل ونشر العلم بالتدريس والفتوى والكتابة والتأليف، توفي القاضي أبو يعلى بمدينة بغداد وذلك ليلة الاثنين التاسع عشر من شهر رمضان المبارك عام ٤٥٨ ثمان وخمسين وأربعمائة هجرية وصلى عليه ابنه أبو القاسم يوم الاثنين بجامع المنصور (^٢) وقبر بمقبرة حرب (^٣) وقد عطلت الأسواق واجتمع في جنازته جمع لم ير مثله، وحضره القضاة والأعيان وأرباب الدولة وجماعة الفقهاء والشهود وكان قد أوصى أن يغسله الشريف أبو جعفر وأن يكفن بثلاثة أثواب وألا يدفن معه إلا ما غزله لنفسه من الأكفان وألا يخرق عليه ثوب ولا يقعد لعزاء (^٤).