وأما شهرته بابن حجر، فقد اختلفت المصادر في اعتباره اسمًا أو لقبًا، وإذا كان لقبًا هل هو أحد أجداده فطغى على العائلة كلها؟، أم أنه لقب لحرفة أو مهنة أو صناعة.
قال السخاوي: "هو لقب لبعض آبائه"، وهو الراجح، وذهب بعضهم إلى أنه نسبة إلى آل حجر، وهم يسكنون الجنوب الآخر على بلاد الجريد وأرضهم قابس.