نشأ الحافظ ابن حجر يتيمًا حيث مات أبوه وهو في الرابعة من عمره، وماتت أمه قبل ذلك وهو طفل، فاصبح في وصاية زكي الدين أبي بكر الخروبي، وكان تاجرًا كبيرًا، وقد اعتنى به غاية العناية، فأدخله المكتب بعد أن اكتمل عمره خمس سنوات، فأكمل حفظ القرآن الكريم وله تسع سنين على يد محمد بن عبد الرزاق السفطي.
ولما بلغ الحادية عشرة من عمره سنة ٧٨٤ هـ، حج مع زكي الدين الخروبي وجاور بمكة والقدس، هنالك اشتغل بالإعادة.
[ ١ / ٩ ]
وحفظ بعد رجوعه مع الخروبي إلى مصر سنة ٧٨٦ هـ "عمدة الأحكام" للمقدسي، و"مختصر ابن الحاجب" في الأصول، و"ملحقة الإعراب" للهروي، وألفية العراقي، وألفية ابن مالك، والتنبيه في فروع الشافعية للشيراري.
تميز ابن حجر بسرعة الحفظ، وبلغ من أمره أنه حفظ سورة مريم في يوم واحد، وكان حفظه تأملًا على طريقة الأذكياء، واشتغل مدة بالتجارة بعد موت الخروبي سنة ٧٨٧ هـ، ولما بلغ التاسعة عشرة من عمره نظر في فنون الأدب.