ولد وليّ الدين في بيت عرف بالعلم والمعرفة، وتميز فيه غير واحد من أفراده، فقد كان جدُّه الحسين بن عبد الرحمن ممَّن صحب الشيخ تقيّ الدين القنائيّ، واختص بخدمته، وأحضر ولده عبد الرحيم عليه، وتوفي سنة (٧٢٨ هـ).
ووالده الحافظ المتقن، العلامة زين الدين، أبو الفضل، عبد الرحيم، فريد دهره، ووحيد عصره، شهد له بالتفرد في فنه أئمة عصره وأوانه، سمع الكثير، وأخذ عنه الجم الغفير، ولد بمنشأة المهرانيِّ ونشأ بها، وسمع مشايخها، ورحل إلى الشام والحجاز، فاستفاد وأفاد، وأخذ عنه الكثير، وله مصنفات في الحديث وغريب القرآن والأصول، وولي قضاء المدينة الشريفة، وتوفي سنة (٨٠٦ هـ).
ووالدته أم أحمد، عائشة بنت طغاي العلائيِّ، كانت خيِّرة صالحة، رحلت مع زوجها عبد الرحيم إلى الشام سنة (٧٦٥ هـ) وسمعت معه من الشيوخ، وجاورت مع زوجها بالحرمين الشريفين، وتوفيت سنة (٧٨٣ هـ).
وأما إخوانه وأخواته .. فقد كان له أخ شقيق يسمى بمحمد، ويكنى بأبي حاتم، ولد سنة (٧٧٠ هـ)
[ ١ / ٣١ ]
كما ذكر الولي في "الذيل على العبر"، وفي وفيات (٧٨٤ هـ) وفاة أخيه أبي الوفاء، إبراهيم بن عبد الرحيم عن قريب من أربع سنوات، وحزن والده عليه.
ومن أخواته كبراهن، وتدعى خديجة، تزوجها الحافظ نور الدين الهيثمي.
وكان ولي الدين ضيق الحال. كثير العيال. وكان متزوجًا من أخت يحيى بن محمد، شرف الدين المناوي.
وأما أولاده .. فجاء ذكرهم في كتب التراجم؛ ومنهم:
- أبو الوفاء، عبد الوهاب بن أحمد تاج الدين، يعرف كأبيه بابن العراقي، أسمعه أبوه على أبيه وغيره، وناب في القضاء، وأجاز له خلق من أماكن شتى، ومات في حياة والده (٨١٨ هـ).
- أم أيمن بركة، ولدت في شوال سنة (٧٩٣ هـ) وأحضرت على جدها ورفيقه الحافظ الهيثمي، وأجاز لها أبو هريرة بن الذهب، وأبو الخير بن العلائي وآخرون، وحدثت، وتزوجها ناصر الدين بن النيدي، وتوفيت سنة (٨٤١ هـ).