一九六七年十二月，「文革」中推遲的大學生畢業分配開始了。楊燁聽說自己的去處可能是湖北，表示堅決聽從黨的分配。戴乃迭在給母親的信中寫道：「他願意接受任何工作，主動要求去外省……我們當然會很想他，但我支持他想離開生活舒適的首都，到條件艱苦的地方去鍛鍊自己的動機和決心。」楊憲益、戴乃迭都表示了對兒子選擇的支持。「儘管政府有政策，不主張把獨子分配到遠離父母的地方，我們不想干涉兒子認為正確的選擇。」戴乃迭這樣告訴自己的母親，「有不少家長大鬧」，但楊燁為父母的理解與支持感到驕傲。
他們推測楊燁很有可能被分配到武漢，因為那是湖北的主要工業城市。但誰也沒有料到楊燁被分配到偏僻的鄂城農機廠做技工。楊燁再一次毫不猶豫地接受了黨的分配，決心以實際行動證明自己對黨和國家的赤膽忠心。
鄂城是長江邊上一個閉塞的小縣城，楊燁的西方面孔一下子就成了眾人指手畫腳、觀望議論的對象。楊燁裝作視而不見，盡量不去理會。但在一個沒有文化可言的小縣城，楊燁是孤獨的。他寫信要妹妹楊熾給他寄些書籍，不承想惹火燒身。
妹妹把哥哥的書籍一股腦打包寄走了。書籍到後革委會先開箱檢查，竟發現一本摩斯密碼小冊子。楊燁中學時曾積極參與當時流行的「國防體育運動」，學習發報、練習跳傘等等。這本摩斯密碼小冊子就是當時學發報留下的。而此時，已經以間諜罪名鋃鐺入獄的父母和這本摩斯密碼都順理成章地成了楊燁間諜嫌疑的鐵證。
逼供、審訊自是當時流行的伎倆。我們無從知道楊燁經歷了何種逼供、審訊，甚至體罰，因為他從未對人講起這些經歷。我們只知道他開始自閉，疑神疑鬼。一次他同師傅一起外出修電線，他爬到電線杆頂端作業，但張貼在電線杆上的標語礙手礙腳，師傅在下麵高喊：「楊燁，你把標語撕了，不然怎麼幹活？」楊燁便把電線周邊的紙撕了。待他檢修完畢，從電線杆上下來，才看清標語原來是「毛澤東思想萬歲！」，而他撕掉的正是「毛澤東」三個字，他嚇出一身冷汗。在那個個人崇拜鼎盛的時期，有多少人因為失手摔碎毛主席石膏像，或無意撕毀印有毛主席像的報紙而付出了慘重，甚至是生命的代價。楊燁此舉足以把他打成現行反革命，投進大獄。他不僅害怕，甚至懷疑他的師傅是有意陷害。
儘管事後什麼事情都沒有發生，但楊燁的臆想、多疑愈加厲害了。
一九七○年三月，中央發出《關於清查「五一六」反革命陰謀集團的通知》，把全國範圍內清查五一六分子的運動推向高潮。楊燁作為來自北京的昔日紅衛兵又首當其衝地成了鄂城的五一六分子，受審查，被批判。一九七二年三月底，楊憲益、戴乃迭先後出獄。四月，四分五裂的楊家在分別四年之後終於團聚，雖然短暫，卻幸福無比。戴乃迭在給姊姊希爾達的信中說：「在小妹熾經濟上沒有自立之前燁每月給妹妹寄生活費。」又說「三個孩子原本就關係密切，這幾年的困境使他們越發親密了，儘管他們天各一方」。 （相關報導： 《毛澤東》選摘（4）：雙手沾血的社會改造者 ｜ 更多文章 ）
戴乃迭出獄後給希爾達的書信大多是談孩子們，畢竟作為母親的她整整四年沒見到孩子，也沒有聽到孩子們的任何消息。五月，戴乃迭寫道：「幾天前收到燁的來信，很溫馨。他在小縣城，小工廠的工作經歷對他是有益的，他已不再是一個不切實際的知識分子了。作為那裡唯一的技術員，他不得不解決各種問題。」但是戴乃迭也感到兒子身上似乎有某種失落或憂鬱，「我常常感到他更渴望能去大一點的企業，能在有一定的文化生活的城市工作，或者能有機會使用他的外語知識。」沒過多久，戴乃迭和楊憲益就發現了兒子的精神異常。
