وصل ابن باديس إلى الجزائر عام ١٩١٣ واستقر في مدينة قسنطينة، وشرع في العمل التربوي الذي صمم عليه، وهو إنقاذ أطفال المسلمين وشبانهم من هوة الجهل والتخلف،
[ ١٢ ]
فبدأ بدروس للصغار ثم للكبار، والمسجد هو المركز الرئيسي لنشاطه، ثم تبلورت لديه فكرة تأسيس جمعية العلماء المسلمين، ولكن نشاط الشيخ كان متعددًا، واهتماماته كثيرة.
ومما شجع ابن باديس وأمضى عزيمته في تكوين تلك الجمعية وبذل الجهد في الإصلاح المتعدد الجوانب هو وجود تلك العصبة المؤمنة حوله، والذين وصفهم هو بالأسود الكبار- من العلماء والدعاة أمثال الإبراهيمي والتبسي والعقبي والميلي وقد عملوا معه في انسجام قلّ أن يوجد مثله في الهيئات الأخرى.