1928年，日本大使館的吉澤見到張，想談開礦的事，張直接把吉澤吊在客廳裏，拒絕見面。在另壹個房間裏，他發誓永遠不會做叛徒。也是這樣，日本人決定徹底除掉他，以防他斷了他們的生意，於是當時的憲兵司令部派日軍把守，禁止行人。為了愚弄日本人，張原計劃6月1日出發，但他直到6月2日才出發。
6月2日晚，張臨行前，孫、、等政要和外國大使前來送行，並與許多重要官員壹同乘火車返回奉天。當火車經過天津時，日本大使Machino和jin下了火車。據說有幾個人因為接到日本領事館的加急電報而匆匆下了火車，但這並沒有引起張的懷疑。
下午四點，火車到達山海關。火車上的廚師為他和他的第五任妻子精心準備了六菜壹湯。張還說，他在火車上吃不好，睡不好，但明天就會回家。但誰也沒想到，這將是他的最後壹頓晚餐。當火車安全通過山海關時，大家都松了壹口氣。
淩晨五點，鐵路路口突然傳來爆炸聲，把張乘坐的車廂炸飛了。張受了重傷，被迅速擡上車，送回家。臨死前告訴第五任妻子，讓張學良回家，以國家為重，不要為他報仇。他們隱瞞了張的死訊，直到張學良回到奉天，才宣布了張的死訊。