出西直門往北通往學院路的大路上，有壹處地名叫索家墳。這裏是索額圖父親索尼的墓地，索家的後人也大都埋在了這裏，其中包括索額圖。
索尼是清王朝初期皇太極和福臨兩朝托孤的老臣。索尼赫舍裏氏，滿州正黃旗出身，自幼精通滿、蒙、漢三種文字，在努爾哈赤建立滿州國初期就受到了重用，初在文館任職；後為努爾哈赤壹等侍衛，出入扈從，隨軍征討立下了功勞。皇太極繼位後，他又深得皇太極信任，成了不離左右的重臣，當皇太極病重時，就把幼子福臨托給了索尼。清順治五年(1648年)多爾袞專橫跋扈，以索尼有意擁戴肅親王豪格為名，將索尼削職為民，發往沈陽昭陵效力。直到多爾袞病死，索尼得到平反昭雪，封壹等伯，掌管軍機。
索尼是四朝元老兩朝托孤的重臣，對清王朝可謂鞠躬盡瘁死而後已。康熙六年(1667年)索尼病死，他的墓地就是海澱區的索家墳。索家墳現屬海澱區北太平莊街道，今天這裏已是高樓林立車水馬龍，誰知當年卻是松柏森森，荒草離離，墳址在今天的文慧園附近，占地3萬平方米。
索額圖是索尼的第三子，當年在海澱西山腳下，曾流傳著：“要做官，找索三”的民諺，索三就是索額圖。索尼生前身為四大輔臣的首輔，對康熙皇帝盡心竭力，但皇帝祖母孝莊太皇太後為了皇帝早日臨朝親政，也為了抗衡鰲拜的專橫跋扈，在康熙尚在年少時，就把索尼的孫女封為了皇後，亦孝誠皇後，康熙朝的皇太子允扔就是孝誠皇後所生。誰知皇太子出生之日就是孝誠皇後死亡之時，所以皇太子從小就由外祖父索家照看，索額圖以太子外祖父的身份形成了壹種極為密切的關系。隨著太子年齡漸長，康熙每次外出巡視或出征，朝中大事均由太子處理，索額圖既是當朝大學士又是太子的外祖父自然也就參與其中了。
康熙四十年，索額圖以年老乞求退休，是年皇帝巡視河南，皇太子隨行病在了山東德州，康熙命索額圖前往侍奉，太子病愈後皇帝發現了太子與索額圖密謀篡位的證據，於是命宗人府於康熙四十二年(1703年)五月，以清朝第壹罪人之名將索額圖拘禁，不久便死於獄中。
這是索額圖死因的壹種說法，另壹種新說在海澱尚有其不同版本。上世紀八十年代初期，在海澱區溫泉鄉太舟塢村發生了壹件新鮮事，這壹年夏天，壹場暴雨過後，在村邊壹片窪地上突然開出了千萬朵彩荷，荷葉碧綠，花大如鬥，壹時傳遍京西大地，不少人前往觀荷，這片荷花從何而來?還要從索額圖說起。當年太舟塢村邊曾有索家別墅壹座，夏日避暑，冬天狩獵。傳說有壹年索額圖在市內府中無故射殺了壹名仆人，這名仆人的父親是皇帝身旁的壹位侍衛，乘隨侍康熙的時候，奏明了索額圖的罪狀，這下正適合了皇帝想除掉索額圖的心意，因為索額圖縱容皇太子胡作非為，久懷篡位之心，今日正中下懷，當即命宗人府派兵速到海澱西山腳下太舟塢村捉拿索額圖。當宗人府的兵馬到太舟塢那天，正值數九寒天，索額圖此刻正在妻妾們的陪伴下飲酒作樂，吃著滿族傳統美食涮羊肉，為了顯示其富可敵國，他涮肉的火鍋乃用純金打造，當眾兵丁擁入時，索額圖為了頑抗，壹腳踢飛了盛有滾熱開水的火鍋，火鍋順勢落入了院中的荷花池裏。最後索額圖寡不敵眾，終被擒獲押趕京城而去。太舟塢附近的鄉鄰早就對索額圖恨之入骨，官兵剛走便闖進了索額圖的院內，為尋找金火鍋，把個荷花池全部翻了個遍，隨手拿走了院中值錢的東西，並把索額圖別墅頃刻夷為了平地，從此這裏成了壹片長滿荒草的河灘。
兩百多年過去了，正好趕上上世紀八十年代雨水充足，沈睡地下多年的古蓮子終於開花了，才有了這百年不遇的奇觀。
索額圖死後，壹說葬在了西直門外的索家墳。另壹種說法是索額圖以附逆謀反之名逮捕下獄的，以其忤逆的身份是不能埋入祖塋的，只好另擇塋地，最後選在了海澱西北旺鎮的唐家嶺村。直到北京解放前，唐家嶺村不僅埋葬著索額圖，村中還有索家的家廟壹座，其舊址當在唐家嶺村村北。
今天雖然索家的蹤跡在唐家嶺村已難找到，但關於索額圖的傳說還壹直在流傳著。