بالاخره امام را از بصره به بغداد آوردند و تحویل فضل بن ربیع دادند. فضل بن ربیع، پسر «ربیع‏» حاجب ـ دربان ـ معروف است.[1] پس از مدتی فضل هم به امام علاقه‌‏مند شد و وضع امام را تغییر داد که وضع بهتری بود. جاسوسان به هارون خبر دادند که موسی بن جعفر در زندان فضل بن ربیع به خوشی زندگی می‏کند، در واقع زندانی نیست و مثل میهمان است. هارون امام را از او گرفت و تحویل فضل بن یحیای برمکی داد. فضل بن یحیی هم بعد از مدتی شروع به خوشرفتاری با امام کرد که هارون خیلی خشمگین شد و جاسوس فرستاد که تحقیق کنند؛ و چون دیدند که جریان صحت دارد، هارون امام را از او نیز تحویل گرفت و فضل بن یحیی مغضوب واقع شد. پس از آن یحیی برمکی پدر فضل، برای این که مبادا به سبب سرپیچی پسرانش از اوامر هارون از چشم هارون بیافتند، در مجلسی سر زده نزد هارون رفت و گفت: اگر از پسرم تقصیری سر زده، من حاضرم اوامر شما را اطاعت کنم؛ پسرم توبه کرده است، او را ببخشید. یحیی پس از آن که دل هارون را به دست آورد، به بغداد آمد و امام را از پسرش تحویل گرفت و تحویل زندانبان دیگری به نام سندی بن شاهک داد که گفته می‌شود مسلمان نبود. در زندان او خیلی بر امام سخت گذشت، و امام در زندان او هیچ روی آسایش ندید.

[1] . خلفای عباسی دربانی داشتند به نام‏ «ربیع‏» که ابتدا حاجب منصور بود، بعد از منصور نیز در دستگاه آنها بود، و بعد پسرش در دستگاه هارون بود. اینها از خصیصین دربار خلفای عباسی و فوق العاده مورد اعتماد بودند.