استقر الخطيب ببغداد ما بين سنتي ٤٢٣ هـ- ٤٤٠ هـ، وهي فترة غامضة من حياته، حيث لا تذكر المصادر سوى إفادته من إسماعيل بن أحمد الحيرى النيسابوري الذي مر ببغداد في طريقه إلى الحج سنة ٤٢٣ هـ، فانتهز الخطيب الفرصة وقرأ عليه صحيح البخاري كله في ثلاثة مجالس، ولا شك أن هذه ليست القراءة الأولى له لصحيح البخاري، لكن الحيرى يرويه بسند عال، وطلب الإسناد العالي مما يحرص عليه كل محدث آنذاك.
وتذكر المصادر أيضا أن الخطيب أمّ الناس في الصلاة على جنازة أبى على الهاشمي أحد فقهاء الحنابلة، الذي كان قاضيا ببغداد سنة ٤٢٨ هـ مما يعكس مكانته الاجتماعية وهو بعد في الثلاثين من عمره.
ويبدو أن الخطيب كان عاكفا في هذه الفترة على تصنيف كتابه «تاريخ بغداد» فاحتاج إلى الانزواء عن الحياة العامة ليتفرغ لمؤلفه الكبير، الذي أنجزه بشكل جعله يتمنى على الله في موسم الحج سنة ٤٤٤ هـ أن تتاح له الفرصة ليحدث به في بغداد.