لقد نشأ ابن خالويه نشأة علمية، فقد سمع حضورا في الثالثة شيئا كثيرا من أبي علي وكان يمكنه السماع منه فما اتفق، وسمع من فاطمة بنت عبد الله المعجم الكبير للطبراني بكماله وهو ابن إحدى عشرة سنة وتفرد بالرواية عن المذكورين سوى فاطمة وكان يعرف بسلفة، وروى عنه خلق، وأجاز لابن الدرجي وابن البخاري وابن شيبان وطائفة.