ذُكر لأبي يعلى جملةً من الشيوخ؛ أبرزهم:
- أبو عبد الله الحسن بن حامد البغدادي (ت ٤٠٣ هـ).
- الحسين بن أحمد، المعروف بابن البغدادي.
- عبيد الله بن عثمان المعروف بابن جنيقا.
- علي بن أحمد المقرن، ابن الحمامي.
ومن تلاميذ القاضي أبي يعلى:
- الحافظ أحمد بن علي بن ثابت، المعروف بالخطيب البغدادي، صاحب تاريخ بغداد، (ت ٤٦٣ هـ).
- أبو الوفاء علي بن عقيل البغدادي الحنبلي، (ت ٥١٣ هـ).
- أبو الخطاب محفوظ بن أحمد الكلوذاني، (ت ٥١٠ هـ).
- ابنه، أبو الحسين محمد بن محمد، القاضي، صاحب الطبقات، (ت ٥٢٦ هـ).