1915年袁世凱在京稱帝後，李玉堂投身於閻學生營，參與袁之戰。
1916袁世凱病逝，學生營解散。李回到家鄉，壹年後考入濟南公立工業學校，在冶金A班學習。
1919五四運動期間，他積極參加外交後援會，作為山東後援會代表在家鄉領導了壹次破壞日貨的集會，並當眾咬破手指，用鮮血書寫了“良心救國”的口號，以示愛國決心。苦讀四年，想有所作為的李玉堂在感覺到自己的國家被歐美日列強欺負，國內戰爭還沒有結束後，決定參軍。於是在1921加入山西士官教育團受訓，畢業後擔任晉軍炮兵隊士官班長、準尉秘書。
1924年，李玉堂考入黃埔軍校壹期。畢業後分配到國民革命軍第壹師二團任見習軍官。由於作戰勇敢，他被提升為排長、連長、營長、團長、旅長、師長。抗日戰爭爆發後，李玉堂被任命為國民黨軍第八軍軍長，駐守江西。
1939年，率部在武寧附近的棺材山阻擊日軍，守住陣地。國民黨抗戰指揮部授予李玉堂“泰山軍”稱號。不久，部將改為第十軍，李仍任軍長，奉命駐守長沙。
從1939到10 —1942到10，日軍集結兵力，三次入侵長沙。李玉堂率部給予沈重打擊，在長沙取得了抗戰史上三次著名的勝利。此後，李玉堂歷任二十七軍副總司令兼總司令、第十綏靖區司令、海南防禦副總司令、第壹路軍軍長、第三十二軍軍長。在海南期間，中國* * *通過關系策反了李玉堂，李接受了* * *產黨舉行起義的條件。由於交通中斷，李玉堂未能及時收到中國關於起義的指示。人民解放軍已占領海南島，李玉堂隨國民黨軍隊撤至臺灣省。李玉堂被漢奸出賣後，於1951年2月5日在臺北碧潭被國民黨當局殺害。
1983經山東省人民政府批準，李玉堂被追認為革命烈士。