公元1948年，吳連義被調到寧平省政府的經濟局負責提高人民的生活水平的工作任務。他在經濟局工作三年多之後突然得了瘧疾，臉龐憔悴、皮膚變黃、肚子像孕婦一樣大，於是他就把工作辭掉了。那時義兄范尹應帶他回寧平省金山治病，並替他找一個鄉村女孩當妻子。
因爲沒有任何財產和房子，吳連義必須住在第一任妻子家裡。後來他妻子不能忍受一個瘦弱病患的丈夫，便把他趕走。那時的吳連義只好四處流浪。爲了生存，他就當赤腳醫生，用他所具有的西醫知識幫人治病。由於他來歷不明，又是到處流浪的外國人，所以最初被當局管很嚴，禁止他工作。然而，由於他確實醫好不少病患，因此仍獲得不少人的肯定與尊重。
就在越南贏得「滇邊府戰役」前一年的1953年，吳連義與他的現任妻子寧氏細相識。當時吳連義手裡拿著藥包，正走在「儒管縣」的一個稻田裡。當時突然下起大雨，他趕緊跑到稻田裏一間荒廢農舍躲雨。比吳連義小10歲的寧氏細，也躲在農舍裡，因寒冷而顫抖著。
寧氏細3歲時母親去世，12歲時父親也相繼病逝。由於父母早逝，家裡貧窮，而寧氏細又長得漂亮，於是她哥哥於她15歲的時候把她嫁給村裡的富豪。因爲沒有愛情，她時常反抗，婆家也因爲這個理由而討厭她，常常打她，並把她當作僕人一般地對待。19歲那年，因爲不能再忍受僕人般的生活，她決定離開婆家，到處幹活。後來，她常在儒管縣幫人家種米。
由於同是天涯淪落人，兩個人都覺得彼此的心靈很接近，因而譜出愛情並決定結婚。婚後吳連義繼續替人看病，寧氏細則在廣樂教堂替人種田幹活。一年後，兩人存了一筆小錢，就到「永姜」一帶蓋一間小屋，並從事務農工作。然而好景不常，當時仍是越南游擊隊與法軍對抗的時代。有一天法軍攻擊村落。他們的房子被燒掉，為了保命，他們往森林裡逃。房子沒了，他們只好又走回家鄉「燕模」生活，並在到「燕慶」工作。最後在「嘉慶縣」「寧一村」的鄉下蓋房子定居直到現在。
公元1954年越南贏得「滇邊府戰役」，法國殖民政權正式退出越南。為了能讓殘留在越盟的支配地區的日本人回國，越日兩國的民間團體互相協調而得以有歸國的機會。在越南寧平省生活的吳連義，接到公所通知他可以回國的機會。越南政府安排了回國前的「政治學習」課程。學習課程持續了半年之久，11月終於到了要歸國的時候。然而要出發的時候，他們才被發現台灣人的身分而被拒絕上船。到了1958年還有一次遣返日僑的作業，吳連義仍然因為台灣籍的身分而被拒絕受理。
吳連義，和其他台籍老兵一樣，都是近代台灣人苦難的一個縮影。
