فى عهد الخليفة العباسى المنصور كان يحيى -بالفعل- شخصية بارزة إذ عينه الخليفة سنة ١٥٨ هـ/ ٧٧٤ م حاكما على أذربيجان، وهناك من يقول إن الخليفة عينه حاكما على أرمينيا وليس أذربيجان. وبعد ذلك بثلاث سنوات عينه الخليفة المهدى معلمًا لابنه هارون ومشرفا عليه، وفى سنة ١٦٣ هـ/ ٧٧٩ م عُيّن هارون حاكما على النصف الغربى من الدولة العباسية (أى على المناطق الواقع غرب نهر الفرات) بالإضافة إلى أرمينيا وأذربيجان فجعل من يحيى كبيرا لمستشاريه. ووفقا لوصية المهدى فإن ابنه الأكبر موسى كان سيخلفه فى
[ ٣٢ / ١٠٢٠٧ ]
الحكم ومن بعده هارون لكن المهدى قرر قبل وفاته بقليل أن يجعل الخلافة لهارون ولم يكن موسى -بطبيعة الحال- راضيا عن هذا التغيير، وبعد وفاة المهدى فى سنة ١٦٩ هـ/ أغسطس ٧٨٥ م نصح يحيى بن خالد هارون بأن يتخلى عن الخلافة لأخيه موسى الذى تسمّى بالهادى، وتم هذا بالفعل، وفكر الهادى فى أن يجعل ابنه جعفر خليفة من بعده وأن ينحى هارون عن الخلافة تمامًا، فعارض يحيى ذلك بشدة فسجنه الهادى وظل فى السجن حتى مات الهادى فى ربيع الأول سنة ١٧٠ هـ/ سبتمبر ٧٨٦ م فلما تولى هارون الخلافة جعل من يحيى وزيره وخوّله كل الصلاحيات واستمر يحيى فى منصبه سبعة عشر عامًا. وفى نهاية شهر محرم أو بداية صفر سنة ١٨٧ هـ/ ٢٣ يناير سنة ٨٠٣ م أمر الخليفة -فجأة- بقتل جعفر بن يحيى دون محاكمة، وبعد ذلك مباشرة تم القبض على يحيى وبقية أبنائه وصودرت أموالهم، وظل يحيى سجينا حتى وافته منيته فى الثالث من محرم سنة ١٩٠ هـ/ ٢٩ نوفمبر ٨٠٥ م عن عمر يناهز السبعين عامًا.