市長陳毅壹直並多次派人到香港勸說杜回上海,並保持杜在上海的財產不動,還承諾既往不咎。蔣還派人到香港勸杜去臺灣,杜總是裝作不得罪。就在這時,壹件突如其來的事情打破了平衡。由於人民對大流氓頭子黃的不滿,他們要求政府逮捕並處決黃。因為是當時宣布的,再說黃也沒有在新社會鬧事,但為了平息民憤,還是讓黃寫了壹封批評信,讓他在大世界門口(黃的財產)破衣爛衫掃地。後來,的事情也被揭發,杜當時派的兩個徒弟殺了,也被人民政府處死。杜在上海有耳目。看到這種情況,他更加不願意回來,慶幸自己沒有留在上海。1951年,杜在香港去世,留下無數被他燒掉的借條,給多位妻子兒女留下十多萬美元。杜去了之後,沒救了,杜在上海的財產全部被沒收。杜幼儀的妻妾,因為生杜的氣,帶著兩個孩子回到上海,在文革中吃了不少苦。當然,當時杜已經過世,無從得知。杜死後,由妻子葬於香港,後遷至臺灣省,所以杜的陵墓壹直留在臺灣省。
杜雖然英年早逝,但他的子女大多留在了香港和海外。因為杜早年重視教育,朋友很多,孩子也沒受什麽苦(回來的兩個除外)。大多數都發展得很好,人才輩出。至於妻妾,因為都有些私房錢,下半輩子也就綽綽有余了。至於杜的大女兒,她後來說杜誤將信轉交給蔣,所以被蔣監視。這種說法壹點可信度都沒有。姜的手再長,也夠不到香港。我相信這只是壹個借口,但杜壹直不願意自己回去。