親手抱著兒子遺體走到太平間的李登輝，曾痛苦到一度考慮退出政壇。一位少數參與李憲文當年追思禮拜的友人形容：「禮拜結束我正打算站起來，忽然聽到輕微的啜泣聲，看到李登輝已彎下身子，將眼鏡摘下，把臉埋進了手掌裡。」
李登輝與曾文惠結婚後，育有一子二女。長子李憲文出生於一九五○年，但於八二年李登輝擔任台灣省主席時因鼻咽癌早逝。李憲文過世，是李登輝至痛，這位不對外表現軟弱的領導人，甚至掩面啜泣。
親手抱著兒子遺體走到太平間的老父，曾痛苦到一度考慮退出政壇。一位少數參與李憲文當年追思禮拜的友人形容：「禮拜結束，我正打算站起來，忽然聽到輕微的啜泣聲，看到李登輝已彎下身子，將眼鏡摘下，把臉埋進了手掌裡。」
李憲文病逝前，曾於七九年在其所服務的《中華日報》副刊發表〈我的父親──李登輝〉上下篇。李憲文提及，家人眼中，李登輝是個無可救藥的「完美主義」者，常講述的故事是「浮士德向魔鬼出賣靈魂」。
李登輝長期最信賴的幕僚蘇志誠，就是李憲文的同學；李憲文鼻咽癌末期，蘇經常在病床旁陪伴他。蘇也獲得李家的信賴，有如自己家裡的小孩。
李憲文與出身台中清水望族的張月雲結婚，她是經蘇志誠介紹而認識，不久兩人生下女兒「巧巧」李坤儀。
巧巧僅八個月大時，李憲文就過世，李登輝因此格外疼愛這小孫女，從她出生後即每年合法贈與現金；九四年曾文惠又贈與大溪鴻禧山莊。包括從父親李憲文及母親張月雲從外祖父那兒繼承的遺產，李坤儀身價數億。
李安娜為李登輝大女兒。李憲文曾為文寫道，李登輝當年為省錢幫剛出生不曾謀面的李安娜買毛衣，頻繁地奔走在外面正飄著雪的愛荷華機場內，「以開水充飢」。
李安娜夫婿黃循武是馬來西亞華僑，曾於台中榮總當醫師。李安娜女兒黃怡寧與外公李登輝同樣就讀康乃爾。
小李安娜四歲的李安妮是李登輝小女兒。李安妮曾代表台聯出馬角逐任務型國代，後接手台綜院副院長。李登輝卸任後，李安妮扮演其政治助手角色。李安妮與前台視董事長、傳播學者賴國洲育有一子賴瑋綸。
李登輝擔任總統時，李安娜與夫婿住在台中；李安妮夫婦則與張月雲、李坤儀，和李登輝夫婦住官邸。
