بعد رحلة علمية دامت ثلاث عشرة سنة إلى المشرق، حنت نفس أبي الوليد الباجي للرجوع إلى الأندلس وأهلها، وكان عند دخوله إلى موطنه في حالة مالية ضيِّقة، اضطرته هذه الوضعية الخانقة إلى الكسب من عمل يده، حيث كان يتردد بين حواضر الجهة الشرقية من الأندلس (سرقسطة) و(بلنسية) و(دانية) مشتغلًا بضرب ودق الذهب للغزل والإنزال، وكان يخرج تارة لتلاميذه للقراءة وعليه أثر المطرقة وصدأ العمل (١)، ولذلك لُقِّب ب (الذهبي).
كما أن هذه الحالة اضطرته أيضًا إلى الاشتغال بعقد الوثائق لتحصيل نفقة ما يسد حاجياته، وينهض بتحقيق متطلبات المعيشة، واستمر الوضع على هذه الحال مدة تربو عن سنتين، قضى فيها أيامه وهو يصارع الحياة بحيويَّة قوية ونشاط دؤوب يجمع فيها بين التعليم والعمل إلى أن انتشر علمه، وذاع صيته وعُرف جلاله وقدره، فانتدبه العلماء لمناظرة ابن حزم في ظاهرياته، كما جرت مناظرة أخرى بالأندلس مع بعض علماء عصره في مسألة إجازة الكتابة على رسول الله - ﷺ - النبي الأميّ.