كان الرامهرمزي ملازمًا لمنزله قليل البروز لحاجته، وقيل له في ذلك، فروى عن أبي الدرداء: نعم صومعة الرجل بيته، يكفُّ فيه سمعه وبصره.
وروى عن ابن سيرين أنه قال: العزلة عبادة.
وقال: خلاؤك أقنى لحيائك. وقال: عزُّ الرجل في استغنائه عن الناس، والوحدة خير من جليس السوء، وأنشد لابن قيس الرقيات:
اهرب بنفسك واستأنس بوحدتها تلقَ السعود إذا ما كنت منفردا
ليتَ السباعَ لنا كانت معاشرة وأننا لا نرى ممن نرى أحدا
إنَّ السباع لتهدا في مرابضها والناس ليس بهادٍ شرُّهم أبدا (^٢)