كما سبق أن والده توفي بعد ولادته بعام، فنشأ يتيمًا وتربى في حجر والدته التي ما لبثت أن تزوجت برجل صالح كان صديقًا
لوالده يسمى الشيخ عيسى المغربي الذي كان متفرغًا لتلقين الناس القرآن بجامع ابن طولون، فعاش أبو حفص في رعايته حتى عُد من أبنائه وكان يدعو الشيخ بوالده، ولقد أحسن في تربيته وحَرِص عليه بالقيام على تعليمه وتأديبه حتى نال هذه المنزلة الرفيعة في ميدان العلم، فغالب الناس لا ينال هذه الرفعة لولا أن هيأ الله له هذا الرجل الصالح الذي قام عليه بالرعاية الكريمة والحفاوة البالغة، فجزاه الله خيرًا على ما قدم له، وأناله موعود نبيه الكريم في كفالة اليتيم.