ولاه عليها أمير المؤمنين هارون الرشيد، فقدم القيروان غرة ربيع الآخر، فأنس الناس وسكنهم، وأحسن إليهم قال ابن حمادة: وصل هرثمة في جيش كثيف حتى نزل تبهرت، فخرج إليه بن الجارود واقتتل معه فهزم ابن الجارود، وطاعت البربر لهرثمة، وانصرف راجعا إلى القيروان وهو الذي بنى القصر الكبير المعروف بالمنستير. قاله الرقيق.
وفي سنة ١٨٠ كانت الزلزلة العظمى بأرض مصر وسقط رأس منار الإسكندرية.
قال الرقيق: لما رأى هرثمة بن أعين ما رأى من الخلاف بأفريقية وسوء طاعة أهلها، طلب الاستعفاء فكتب إليه الرشيد بالقدوم عليه فرجع إلى المشرق وهو الذي بنى سور طرابلس.