لا نعرفُ شيئًا عن دراسة الأعلم في مراحل حياته الأولى قبل سنة ثلاث وثلاثين وأربع مئة، وهي السنة التي رحل فيها إلى قرطبة، كذلك لا نعرف أحدًا من شيوخه الذين تلمذ عليهم في تلك الفترة، وقد اقتصرت المصادر على ذكر ثلاثة من شيوخه الذين درس عليهم في قرطبة الأشعار واللغة والنحو وأنساب العرب وأخبارها، وهم:
١ - أبو بكر مسلم بن أحمد بن أفلح النحوي الأديب، المتوفى سنة ثلاث وثلاثين وأربع مئة (^١١).
٢ - أبو القاسم إبراهيم بن محمد بن زكرياء، المعروف بابن الأفليلي، المتوفى سنة إحدى واربعين وأربع مئة (^١٢).
٣ - أبو سهل يونس بن أحمد بن يونس بن عيسون الجذامي، المعروف بابن الحرَّاني، المتوفى سنة اثنتين وأربعين وأربع مئة (^١٣).
ولم تكن علاقة الأعلم بشيوخه مقتصرة على الأخذ والتلقي، بل زادت على ذلك، فقد عاوَن شيخّه ابن الأفليلي في شرح شعر المتنبي (^١٤)، وهو أمر يبين مدى قدرة أبي الحجاج وتمكَّنه من اللغة والشعر.