لم تسعفنا المصادر بأي ذكر لأسرته، سوى ما انفرد ابن عبد الملك المراكشي في"التكملة لكتاب الصلة"بالترجمة لأبيه وعمه، فأفادنا أن والد أبي إسحاق ابن الأمين أخذ العلم عن أبي الوليد العتبي وغيره من مشيخة قرطبة، وكانت له عناية باللغة وشرح الحديث، وتوفي سنة ٥٢١ هـ (^٤)، وأن عمه محمد بن إبراهيم ابن يحيى بن سعيد كان مقدما في علم الفرائض والعدد والمساحة، وتوفي سنة ٥٣٩ هـ (^٥).
ولعل في إمامته. بمسجد عبيد الله بن أدهم-التي تأتي الإشارة إليها-دلالة على أنه كان متزوجا لأنه لم يكن مستحبا في المذهب المالكي أن يؤم القوم العزب.