لم تكن مدينة فسا لتشبع نهم أبي علي من العلم وإن كانت المصادر لا تسعفنا بشيء عن حياته العلمية في بداياتها- فيمّم وجهه شطر مدينة السلام التي كانت قبلة العلماء في ذلك العصر، فانتقل إلى بغداد، ودخل إليها سنة سبع وثلاثمائة، كما قال ابن خلكان في [وفيات الأعيان ٢/ ٨٠] ومنه نعلم أن أبا علي الفارسي بدأ رحلة العلم الطويلة،
وسنّه تسع عشرة سنة.
وقال ياقوت في معجم الأدباء [٧/ ٢٣٢] وابن خلكان: وطوف كثيرا في بلاد الشام، ومضى إلى طرابلس فأقام بحلب مدة، وخدم سيف الدولة ابن حمدان، وكان قدومه عليه في سنة إحدى وأربعين وثلاثمائة. قال ابن العديم [مجلة المجمع ٤/ ١٩٨٤ ص ٧٤٣] واجتمع بأبي عبد الله الحسين بن خالويه، وأبي سعيد السيرافي بحضرته. وجرت بينهما وبينه بحوث ومناظرات ومسائل.