بردبارى و گذشت آن بزرگ،بى مانند و سرمشق دیگران بود.لقب «کاظم »به دنباله ى نام آن گرامى،حاکى از همین خصلت وى و نشانه ى شهرت ایشان به کظم غیظ و گذشت و بردبارى اوست.

در روزگارى که عباسیان،در سراسر بلاد اسلامى خفقان ایجاد کرده بودند و اموال مردم را به عنوان بیت المال مى گرفتند و صرف عیش و نوش مى کردند و بر اثر حیف و میل آنان،فقر عمومى بیداد مى کرد،مردم اغلب بى فرهنگ و فقیر بودند و تبلیغات ضد علوى عباسیان نیز، اذهان ساده لوحان را مى آلود،گهگاه،برخى از سر نادانى،بر امام بر مى آشفتند،اما آن بزرگوار، با اخلاق عالى خویش،بر آشفته ها را تسکین مى داد و با ادب و متانت خویش،آنها را تادیب مى کرد.

مردى از اولاد خلیفه ى دوم در مدینه مى زیست که امام را آزار مى داد و گاهى که امام را مى دید با دشنام،توهین مى کرد.

برخى از یاران امام،پیشنهاد مى کردند که او را از میان بردارند:امام شدیدا ایشان را از اینکار باز مى داشت.

یکروز امام جاى او را که در مزرعه اى بیرون مدینه بود،پرسیدند.

چارپایى سوار شدند و بدانجا رفتند و او را در مزرعه یافتندو همچنان سواره وارد مزرعه شدند.او فریاد زد که زراعت مرا پایمال نکن!حضرت اعتنایى به گفته ى او نکردند و همچنان سواره نزد او رفتند و چون کنار او رسیدند،از چارپا پیاده شدند و با گشاده رویى و بزرگوارى از او پرسیدند:

چقدر براى این مزرعه خرج کرده اى؟

گفت:صد دینار

فرمود:چقدر امید سود دارى؟

گفت:غیب نمى دانم.

فرمود:گفتم چقدر امیدوار هستى؟

گفت:امید دویست دینار سود دارم.

حضرت سیصد دینار به او مرحمت فرمودند و فرمودند زراعت هم از آن خودت،خدا به تو آنچه به آن امید دارى خواهد رسانید.آن شخص برخاست و سر آن گرامى را بوسید و از او خواست که از گناهان و جسارت هاى وى در گذرد.امام تبسمى فرمودند و باز گشتند…

روز بعد،آن مرد در مسجد نشسته بود که امام (ع) وارد شدند.

آنمرد تا نگاهش به امام افتاد گفت:

الله اعلم حیث یجعل رسالته

خدا بهتر مى داند که رسالت خویش را به چه کسانى بدهد. (کنایه از آنکه امام موسى بن جعفر به راستى شایستگى امامت دارند)

دوستانش با شگفتى پرسیدند،داستان چیست،قبلا از او بد مى گفتى؟

او دو باره امام را دعا کرد و دوستانش با او به ستیزه برخاستند…

امام با یارانى از خود که قصد قتل او را داشتند فرمود:کدام بهتر است،نیت شما یا اینکه من با رفتار خویش او را به راه آوردم؟