امام فقط در یک زندان محبوس نبود، بلکه در زندان‌های متعدد به سر برد. ایشان را از این زندان به آن زندان منتقل می‏کردند، و راز مطلب این بود که در هر زندانی که امام را می‏بردند، پس از اندک زمانی زندانبان مرید امام می‌شد. اولین حبس امام در هفتم ماه ذی الحجه سال 178، از زندان بصره آغاز گردید. امام را تحویل عیسی بن جعفر بن ابی جعفر منصور، ـ نوه منصور دوانیقی ـ والی بصره دادند. او یک مرد عیاش و شرابخوار، و اهل رقص و آواز بود. مدتی که از زندانی بودن امام گذشت، کم کم عیسی بن جعفر علاقه‌مند و مرید امام شد. عیسی بن جعفر بر اساس تبلیغات حکومت تصور می‏کرد که امام کاظم7 مردی ‏یاغی است که مدعی خلافت است، ولی پس از چندی همجواری با امام دریافت که ایشان نه تنها دل به دنیا نبسته است بلکه غرق در معنویت است. و اگر مساله خلافت ‏برای ایشان مطرح است از جنبه معنویت مطرح است نه این که یک مرد دنیا طلب باشد. همین مسائل باعث شد که وضع تغییر کند و عیسی دستور داد اتاق بسیار خوبی در اختیار امام قرار دادند و رسماً از امام پذیرایی می‏کرد. از آن طرف هارون محرمانه به عیسی پیغام داد که امام را بکشد. عیسی جواب داد که چنین کاری نمی‏کند. پس از این که هارون برای اجرای دستورش فشار زیادی آورد؛ عیسی نامه‌ای به خلیفه نوشت که «دستور بده زندانی را از من تحویل بگیرند والا او را آزاد می‏کنم، من نمی‏توانم چنین مردی را به عنوان یک زندانی نزد خود نگاه دارم.» و البته چون عیسی بن جعفر پسرعموی خلیفه و نوه منصور بود، برای حرفش احترام قائل بودند.