不過，沒有裸泳時，張學良對取水的原住民非常和善。由於軍方命令的關係，張學良不被允許和當地人交流，也不能和他們分享任何食品或器物，否則將被視為通謀，但他有惻隱之心，見原住民生活條件不佳，總有人饑己饑之感，何況在新竹軟禁初期，食衣住行的問題統統是他們伺候，很多時候，張學良會繞個彎投桃報李，例如在原住民孩童戲水打鬧時，將咬了一口的蘋果扔到小河裡，還會把大半隻燒雞、烤鴨扔到水裡。讓這些居於深山的孩子們，也能享受來自摩登大城市的滋味。
來去高雄，來去高雄，來去高雄
後來，張學良搬到高雄壽山，那是一棟兩樓層的白色建築，時人稱之「高雄小白宮」，相比於新竹的木製小屋，鋼筋水泥的屋子顯然舒服許多。張學良生前表示高雄是「二十餘年來最舒適的處所」，有趣的是，或許是因為太舒適，剛搬入後不久，張學良日記出現兩次房事，要知道當時的他已經是56歲的人了：
1957年1月4日記：「今日春性又大發，血氣將衰之人，戒慎為是。」
1957年1月13日：「今天又少年性發，同 Edith（趙一荻）大肆玩弄，將近60歲的人，仍不脫少年稚氣，可喜不知老之將至，可笑老了還不知保重。」
張學良的心情很不錯，文筆相較其他時期輕快許多。由於到達壽山時行色匆忙，張學良把自己的家當和心愛的《明史》全留在井上，他無事可做，每天只能想盡辦法找尋樂子，盡可能過得充實點。「高雄小白宮」從二樓往外眺望可以看到整個高雄港，他就每日早起晨坐觀海，望著港內來來去去的船隻，若有感悟：
海，不管洋船、木舟、竹筏，只要遵循它的法則，它就載，否則它就覆。天命之謂性。道、教不可離者，此中可尋出端倪。「天道無私」，亦在此也。
狂讀《明史》
在高雄壽山，張學良真正沉靜下來閱讀《明史》。其實他算得上是半個奇葩，前半生到處對人說平生不喜讀書，且頻頻讚揚張家一點都沒有讀書的基因。不過面對遙遙無盡的軟禁日子，讀書顯然是忘卻憂愁的最好方法，他認為民國之所以屢屢遭受外強欺凌，都要歸責於清朝的腐朽，而清朝的腐朽，又得歸責於明朝的制度與文化。
張學良勤奮地整理明史，勤奮地撰寫明史，就連話題也總離不開明史，來自東北的老鄉莫德惠探訪他時，張學良便滔滔不絕地講述自己對明史的熱愛，他想到臺大擔任散播國學的歷史教授，也想在中研院擔任沉醉書海的老學究，甚至幻想能和朱熹、王陽明那些儒學大師一樣開設講壇。他對莫德惠說：「我讀歷史所得的啟示，發覺世間最有權威的人，是學術最為淵博的人，沒有學術，不足以治人。或者說，世間唯一可以治人者，唯學術而已矣。」
透過閱讀歷史，張學良學會明辨社會形態的轉變關鍵，對人生的理解更加深刻。談話途中，莫德惠驚奇地發現，張學良對當時明、清史學家的著作都極其熟諳，對於著名的如翦伯贊、錢穆、吳晗等人更是讚譽有加，莫德惠返回大陸前不由地感慨道：「此次訪問，發現張氏已成為明史專家。」 （相關報導： 民國最聰明軍閥是他！擁兵自重38年，把山西建設成中國最富裕省分 ｜ 更多文章 ）
民國初年研究明朝歷史是一門難題，因為政治因素，許多史書不但看法不全面，經後人的刪減，有些地方還會倒果為因，把好的東西說成壞的，壞的東西說成好的。張學良常被這種歷史唬住，例如看《明實錄》時，他覺得「真差，比我這文筆不好的人還不如」，後來經過查證，張學良才知原來清朝把一些篇幅刪了，以致斷斷續續，文氣不順。
