الأساتذة الذين درس عليهم كل واحد منهم إما أن يكون متخصصا بفرع من فروع المعرفة أو بفروع عدة. فقد درس في حياته الفلسفة والمنطق على أكبر عالمين فيهما في القرن الرابع، وهما يحيى بن عدي المتوفى سنة ٣٦٤ هـ، وأبو سليمان المنطقي المتوفى سنة ٣٩١ هـ. ويحيى بن عدي فيلسوف نصراني قيل إنه انتهت إليه رياسة أهل المنطق في زمانه، وقد ترجم كتب أرسطو إلى العربية ولخص مؤلفات أستاذه الفارابي وشرح فلسفته.
ولعل أثره في التوحيدي يظهر بصورة خاصة في كتاب (المقابسات)، وكان أبو سليمان المنطقي من أعظم علماء المنطق، وقد اعتزل الرؤساء لعورة إصابته بالبرص، فلزم منزله، ووفد عليه العلماء والطلاب حتى غدا منزله مقيلا لأهل العلوم القديمة، وكان يجمع إلى العلم بالمنطق إلماما بالأدب والشعر. وعلاقته بالتوحيدي كانت وثيقة كما تدل على ذلك عبارة الوزير ابن سعدان للتوحيدي « فقد بلغني أنك جاره ومعاشره ولصيقه ومجاوره، وقافي خطوه وأثره، وحافظ غاية خبره»، بل إن قفطي تصور أن التوحيدي كان يغشى منازل الرؤساء لينقل أخبارها إلى النطقي.
ودرس التوحيدي الفقه الشافعي والتفسير على القاضي أبي حامد المروذي المتوفى سنة ٣٦٢ هـ، وقد نقل عنه الكثير وروى عنه، حتى إن ابن أبي الحديد يقول:
«إن التوحيدي كان يسند إلى المروروذي ويقول: وإنما أولع بذكر ما يقوله هذا الرجل، لأنه أنبل من شاهدته في عمري، وكان بحرا يتدفق حفظا للسير، وقياما بالأخبار، واستنباطا للمعاني، وثباتا على الجدل، وصبرا على الخصام» . وفي مادة فقه الشافعي، درس التوحيدي على أبي بكر محمد بن علي القفال بن إسماعيل الشاشي المتوفى سنة ٣٦٥ هـ، الذي قيل فيه إنه كان فقيها محدثا أصوليا لغويا شاعرا.
ودرس أيضا على القاضي أبي الفرج النهرواني المتوفى سنة ٣٩٠ هـ، وكان فقيها أديبا شاعرا وصفه ابن خلكان بأن له «أنسة بسائر العلوم»، وكان أهل زمانه يقولون عنه: «إذا حضر القاضي أبو الفرج، فقد حضرت العلوم كلها» . ووصفه صاحب (الفهرست) بأنه كان «في نهاية الذكاء وحسن الحفظ وسرعة الخاطر في الجوابات» .
ودرس التوحيدي على عليّ بن عيسى الزماني المتوفى سنة ٣٨٤ هـ، وكان إماما في اللغة والأدب وذا معرفة بعلم الكلام كما تدل على ذلك عبارة ابن خلكان: «جمع علم الكلام والعربية» . وعده ياقوت في طبقة أبي علي الفارسي والسيرافي. وقال فيه ابن خلكان: «لم ير قط مثله علما بالنحو وغزارة في الكلام، وبصرا بالمقالات
[ ١ / ٩ ]
وإيضاحا للمشكل، مع تأله وتنزه ودين ويقين، وفصاحة وفقاهة وعفافة ونظافة» . وقد كان للرماني باع طويل كذلك في التفسير على طريقة المعتزلة، إذ وضع تفسيرا للقرآن، بلغ من قيمته أن قال الصاحب بن عباد ردا على من اقترح عليه أن يصنف تفسيرا: «وهل ترك علي بن عيسى الرماني شيئا؟» .
وقرأ التوحيدي على أبي محمد جعفر الخلدي المتصوف الزاهد، وأبي الحسين ابن سمعون المتوفى سنة ٣٨٧ هـ الذي وصف بأنه وحيد عصره في الكلام على الخواطر وحسن الوعظ وحلاوة الإشارة ولطف العبارة، وهو الذي وصفه ابن الجوزي ب «الناطق بالحكمة»، بالإضافة إلى العامري الفيلسوف، والنوشجاني، وأبي الخير اليهودي، وجماعة من مشايخ النصارى الذين كانوا متحرين بالفلسفة ومحبين لأهلها، وأبي الوفاء المهندس المتوفى سنة ٣٧٦ هـ.