他飛黃騰達之後，大達輪船公司新船下水，請他去主持下水禮，車經楊樹浦，他遠指一間毀損不堪的小學校，告訴那位船東說：「我曾經在這間學校讀過五個月書，後來再也沒有讀書的機會了。」
他常常提起少時在一家生菓舖當學徒。有一次，四川有位師長范紹曾在國際飯店宴客，吃到終了，侍者端上了一碟生梨，大家在談笑之間，都怪洋刀太鈍，削皮不易。惟有杜氏在片刻之間，把生梨的皮削去，晶瑩光滑，范師長見到他這般削梨技術大加稱道，杜氏卻坦白的告訴范說：「我本是這一行出身」，范聽後不敢讚一詞。
杜氏出身寒微，對窮苦人的生活很瞭解，所以他後來處理一切大小事宜，都是偏袒窮人方面，勞苦階級的人對他的印象特別好。
他常說：「不識字可以做人，不懂事理不能做人。」他對任何事情的處置，另有一套。凡是辦一件事，先決定上策如何？中策如何？下策如何？三點決定後，還要考慮這件事的後果如何。所謂後果，即是有無反應或副作用。好會好到如何地步？壞會壞到如何程度？所以他發一言而能了事，但是不輕發言，言必有中。
他往往先聽別人講話，自己默不出聲，等到別人講完，他已定下了決策，無非是說：「好格，閒話一句」，或者是說：「格件事，不能這樣做」，他的判斷力極強，說過之後，從來不會變更的。
杜氏所受的教育，照我的觀察，是得力於聽書。所謂「聽書」，是江南人喜愛的一種消閒娛樂，由彈詞家或評話家連續彈唱講述的，如《岳傳》、《水滸傳》、《七俠五義》、《三國》等，所以他對戲劇演出極感興趣。他自身的出發點，也是從桃園三結義開始的，足見小說不但感人極深，實在也是一種社會教育。
尊敬文人禮賢下士
我初識杜氏時，他並無秘書或書記之類，只有一個賬房先生。這時來往的人，絕無一個文人，所以我去之後，他表示很歡迎，總是和我談談社會新聞，問我：「報紙上是哪能講法？」我非但把報上的新聞講給他聽，還對若干事情的來龍去脈加以分析，他聽了很是高興。因為當時他接觸的許多人，都是工商界人士，不久後有一位劉春圃常去，劉是在警察廳當司法科長的，能說，能寫，杜先生奉為上賓，好些文書往來，就由劉春圃代為執筆。其後，有一位任職紹興安昌鎮警局長翁佐青，卸職後賦閒在上海，由張某介紹當了杜氏的秘書。從這時起，杜宅才有文房四寶和寫字枱的設備。
翁佐青做了很多年後，又陸續延攬了好幾位精通文墨的秘書，都是寫作俱佳的。外間傳言「六君子」之一楊度，是他的秘書，其實楊不過是杜宅中一名清客，相貌枯瘦，杜氏不大喜歡他的；至於章士釗，也不是他的秘書，其地位近於謀臣策士一流。
