در این موضوع بین مورخین اختلاف نظر است، بنابر قول مشهور موسی بن جعفر در سال ۱۲۸ یا ۱۲۹ هجری قمری هنگامی که امام صادق (ع) و همسرش حمیده از حج بازمیگشتند، در منطقه ابواء به دنیا آمد. برخی مکان ولادت ایشان را مدینه دانستهاند. درباره تاریخ ولادت امام کاظم(ع) اختلاف است؛ طبری ولادت ایشان را در ذیالحجه و طبرسی آن را در ۷ صفر دانسته است. مادر ایشان حضرت حمیده کنیزی از اهل مغرب یا اندلس(اسپانیا) بوده است و نام پدر حمیده را صاعد مغربی (بربری) گفته اند. برادران دیگر امام از این بانو اسحاق و محمد دیباج بوده اند. امام موسی کاظم(ع) هنوز کودک بود که فقهای مشهور مثل ابو حنیفه از او مسئله می پرسیدند و کسب علم میکردند.