قال الضياء: "تزوج الحافظ بخالتي رابعة ابنة خاله الشيخ أحمد بن محمد بن قدامة، فهي أم أولاده: محمد، وعبد الله، وعبد الرحمن، وفاطمة وعاشوا حتى كبروا، ثم تسرّى بجارية في مصر فلم توافقه، ثم بأخرى، فولدت له بنتين ماتتا ولم تكبرا".
قال الذهبي في "السير" (٢١/ ٤٦٨):
"قلت: أولاده علماء: فمحمد هو: المحدث الحافظ الإمام الرحال عز الدين أبو الفتح، مات سنة ثلاث عشرة وست مئة كهلًا، وكان كبير القدر.
وعبد الله هو: المحدث الحافظ المصنف جمال الدين أبو موسى، رحل، وسمع من ابن كليب، وخليل الراراني، مات كهلًا في شهر رمضان سنة تسع وعشرين وست مئة.
وعبد الرحمن هو: المفتي أبو سليمان ابن الحافظ سمع من البوصيري وابن
[ ٢٧ ]
الجوزي، عاش بضعًا وخمسين سنة توفي في صفر سنة ثلاث وأربعين وستمئة"