一九七七年，文革接近尾聲，中國第一次恢復高考，張雖然只有小學學歷，卻仍憑著聰明才智和多年自學考上了大學，但是由於政治課成績比較差，他決定進行重考。很多人參加高考時無比緊張，複習壓力巨大，但是張對自己卻信心滿滿，「我相信我還是會考到不錯的大學的」，最後結果也並不出乎意料，小學畢業、耽誤教育十年的張益唐，在一九七八年順利考取北大數學系，滿分一百分的數學，他考了九十八分，值得一提的是，當時很多人的語文都考不及格，張卻考取了八十八高分。
一九八九年的北大是一個學習風氣濃厚得無以復加的地方，在文革中耽誤了十年的教授和老師都上緊發條，奮力爭取他們「失去的十年」，這一代的大學生裏人才極多，張藝謀、陳凱歌等引領中國電影的「第五代」導演都是一九七八年的大學生。張益唐在人才濟濟、學風濃厚的北大裏，仍然名列前茅。他獲得了扎實的數學訓練，在未名湖畔度過了大學本科和碩士共七年的時光，此時，他便已經對數論產生了濃厚的興趣。
碩士畢業，出國深造成了必然的選擇，張益唐這樣資質優越的學生受到老師空前的關照，但是校方過度的干預也對張的學術發展產生了阻礙。張的研究興趣是數論(Number Theory)，但是當時北大數學系認為，代數幾何(Algebraic Geometry)是中國亟待發展的領域。當時北大數學系主任、後來的北大校長丁石孫把張益唐推薦給了在普渡大學任職的來自台灣的數學教授莫宗堅(Tzuong-Tsieng Moh)。張當時遵從了這個決定，一方面是師命難違，另一方面，當時的張心裏也有為國奉獻的想法。
華人數學家的圈子其實不大，丁石孫向代數幾何領域權威莫宗堅大力推薦張益唐；其實哈佛大學的丘成桐也幫張益唐聯繫了數論方向的專家、聖迭戈加州大學的Harold Stark做導師，但最終被丁石孫否定。如果去加州大學，張益唐的學術生涯將大為不同。
在張益唐成名之後，普渡大學向他發去了一封電子郵件，授予「傑出校友」稱號，內容值得回味。普渡大學說，「儘管我們知道你在普渡過得不好，但是我們還是希望你能夠回來」。不過張卻不想回去，「我確實不願意回去，一點意思都沒有。而且我回去會令某個人覺得很難堪」。
在普渡大學的博士歲月是張益唐二十多年不願公開的傷心史，他對亞洲週刊談到他的導師莫宗堅，「他太不尊重我了，為了他自己的一時意氣，根本就不顧學生。而且最後呢，他內心也知道是他把事情給弄壞了，但是反過來要遷怒自己的學生，說自己的學生不好」。
