نَشَأَ ابْنُ حَجَرِ لِأَبَوينِ غَنِيينِ، فَوَالِدُهُ كَانَ تَاجِرًا مَشْهُورًا، وَأُمَّهُ كَانَت مِنْ عَائِلَةٍ غَنِيَةٍ مَوفُورَةِ الثَرَاءِ، وَبِالرُغْمِ مِنْ ثَرَائِهِ فَقَدْ نَشَأَ ابْنُ حَجَرٍ نَشَأَةً طَيبَةً طَاهِرَة صَالِحَةً، فَلَمَا بَلَغَ خَمْسًا وَعِشْرِينَ سَنَةَ تَزَوجَ أُولَى زَوْجَاتِهِ: "أَنَسْ ابْنَةُ الْقَاضِي كَرِيمِ الدِّينِ عَبْدُ الكَرِيمِ بْنُ أَحْمَدَ بْنِ عَبْدِ العَزِيزِ نَاظر الجيش". فِي شَعْبَانَ سَنَةَ (٧٩٨ هـ). وَهِيَ مِنْ أُسْرَةٍ مَعْرُوفَةٍ بِالرِئَاسَةِ والحِشْمَةِ والعِلْمِ، وَقَدْ أَنْجَبَت لَهُ خَمْسَ بَنَاتٍ، وَماتَتْ سَنَةَ (٨٦٧ هـ).
وَفِي سَنَةِ أَرْبَعِ وثَمَانِمَائَةٍ تَزَوَجَ مِنْ: "أَرْمَلَةِ الزَيْنِ أَبِي بَكْرٍ الأَمْشَاطِي". وأَنْجَبَتْ لَهُ بِنْتًا سَمَاهَا آمنة التِي لَمْ تَعِشْ طَوِيلًا وبِمَوْتِهَا طُلِقَتْ أُمَّهَا.
ثُمَّ تَزَوَّجَ: "لَيْلَى ابْنَةَ مَحْمُودِ بْنِ طَوْعَان الحَلَبِي". سَنَةَ (٨٣٦ هـ). وكَانَت ثَيِّبًا ذَاتَ وَلَدَينِ فَفَارَقَهَا دونَ أَنْ يُعْلِمَهَا بِالطَلاقِ، قَدْ فَعَلَ ذلِكَ لِأَنَّهُ لَمْ يَتَيَسَرْ لَهُ أَنْ تَرْحَلَ مَعَهُ وَلَمْ يُرزَق مِنْهَا أَوْلادًا.
وَمَع هذَا كُلِهُ لَمْ يُرزَق مِنْ إِحْدَاهُنْ بِمَولُودٍ ذَكَرٍ حَتَّى وَقَعَ فِي خَاطِرِهِ التَّسَرِي بِجَارِيةِ زَوجتِهِ لَعَلَهُ يُرزَقُ بِذكرٍ يَخْلُفهُ فِي عِلْمِهِ فاشترَاهَا بَعدَ أَنْ بَاعَتْها زَوْجَتَهُ ثُمَّ اسْتَبرَأَهَا ووطِئَهَا فَحَمِلَت لَهُ بِوَلَدِهِ: "القَاضِي بَدْرِ الدِّينِ أَبِي المَعَالِي مُحَمَدٍ". وَكَانَ مَوْلِدُهُ فِي ثَامِنِ عَشَرَ صَفَرٍ سَنَةَ (٨١٥ هـ).