تحصیلات ابتدایی خود را در یکی از مکتب خانه های قم شروع کرد و پس ازآن درس های مقدماتی علوم دینی را طی کرده سپس برای تکمیل تحصیلات به تهران رفت. در ۲۲ سالگی وارد نجف اشرف شد و در درس میرزا محمدحسن شیرازی شرکت کرد و پس از دو سال اقامت بار دیگر به تهران بازگشت. پنج سال در تهران به تحصیل ادامه داد و بار دیگر در سال ۱۳۲۱ق به عراق و سامرا رفته و در مجلس درس میرزا محمدتقی شیرازی شرکت کرد، ده سال ساکن سامرا بود، استادش توجه خاصی به وی داشته و مقلدان خود را در مسائل احتیاطی به او ارجاع می داد. در پی درخواست مردم مشهد جهت فرستادن عالم، میرزا محمدتقی شیرازی، او را پیشنهاد کرد. وی که از تمام اساتید خود در نجف و سامرا اجازه اجتهاد داشت و از سید مرتضی کشمیری اجازه نقل روایت اخذ کرده بود، به مشهد رفت.

با ورود به مشهد، با برپایی نماز جماعت، ارتباط خود را با مردم برقرار کرد و با پاسخگویی به سؤالات مردم و رسیدگی به وضعیت محرومان و مستضعفان پرداخت و زعامت و سرپرستی حوزه علمیه را به عهده گرفت و به تدریس نیز پرداخت. او از دادن رساله و قبول مسئولیت مرجعیت امتناع می کرد، ولی با اصرار و مراجعه فراوان جمع زیادی از متدینین، رساله احکام فارسی او در سال ۱۳۵۱ق به چاپ رسید. دوران رضاخان و اقدامات او اعتراض علما را برانگیخت و او به مخالفت با دستگاه رضاخان برخاست. دریکی از جلساتی که با حضور عالمان مشهد در منزل وی برگزار می شد، وی از اوضاع جاری مملکت به شدت متأثر و گریان شد سپس گفت: «امروز اسلام فدایی می خواهد. بر مردم است که قیام کنند ». درنهایت علما تصمیم می گیرند که او در اعتراض به اقدامات ضد دینی رضاخان به تهران رفته و با او صحبت کند. وی در آخرین جلسه درس خود می گوید: «به عقیده من، اگر جلوگیری از خلاف مذهب، منوط به کشته شدن ده هزار نفر که رأس آنها حاج آقا حسین قمی است باشد، ارزش دارد.» پس از ورود به تهران، مردم به طور گسترده به ملاقات او می رفتند و رژیم پهلوی محل اقامت او را تحت محاصره قرار داد. خبر بازداشت این مرجع تقلید با اعتراضات مردم، به ویژه مردم مشهد مواجه شد. مردم در حرم مطهر و مسجد گوهرشاد اجتماع کردند و هر روز بر ابعاد اعتراضات مردم افزوده می شد تا این که درنهایت مأموران به جمع مردم که در مسجد گوهرشاد دست به تحصن زده بودند، حمله ور شده و دست به کشتار زدند. پس ازاین حادثه، رژیم پهلوی او را از ایران به عراق تبعید کرد. از این سال به بعد مرجعیت او به کربلا منتقل شد. باوجود وی، وضع عمومی حوزه تغییر یافت و جلسات درس و بحث رونق دیگری گرفت. بعد از درگذشت سید ابوالحسن اصفهانی، او نیز کربلا را بعد از یازده سال ترک کرد و به نجف منتقل شد و مجتهدان نجف اشرف امر مرجعیت را بر عهده او گذاشتند. مدت مرجعیت او کوتاه بود و پس از چند ماه از دنیا رفت؛ سید محمدهادی میلانی نقل می کند: «به حرم سیدالشهداء مشرف شدم، حاج آقا حسین قمی بالای سر مطهر نشسته بودند، به من اشاره نموده، نزد ایشان رفتم و آقا اظهار داشتند: ریاست و مرجعیت دینی بعد از آسید ابوالحسن به من روی آورده و من می ترسم به دینم لطمه بخورد! من دعا می کنم شما آمین بگویید: خدایا! اگر این ریاست به دین من مضر است، جان مرا بگیر! سپس آن قدر گریه کردند که زمین از آب دیده ایشان تر شد» در دوران حضور در حوزه علمیه کربلا در جریان اشغال عراق در جنگ جهانی دوم، به همراه دیگر علمای عراقی و ایرانی مقیم این کشور، فتوای جهاد علیه متفقین را صادر کرد و خواهان مقابله با اشغالگران شد. با سقوط رضاشاه به تبعید ۸ ساله خود پایان داد و در سال ۱۳۲۲ به مشهد بازگشت. او از دولت خواست که به خواسته هایی چون لغو کشف حجاب، انحلال مدارس مختلط، برپایى نماز جماعت و تعلیم قرآن و درس دینى در مدارس، آزادى حوزه هاى علمیه، کاهش فشار اقتصادى از دوش طبقه ضعیف، تلاش براى تعمیر قبور ائمه بقیع گردن نهد.