1956年澳洲墨爾本奧運會，國際奧委會接受台灣以中華民國名義參賽，此次輪到北京不滿而退賽。
1960年義大利羅馬奧運，國際奧委會又要求台灣不能以中華民國，而是以「台灣」之名參賽。妥協之後，台灣以「福爾摩沙」（Formosa）之名參與奧運會。台灣早期被歐洲殖民者稱為"福爾摩沙"，福爾摩沙一詞音譯自拉丁文及葡萄牙文的Formosa，為「美麗」之意。當時，中華民國代表隊在開幕式進場時高舉「抗議」字樣，表達不滿。
1964年日本東京首次舉辦奧運，台灣也首次以「台灣」（Taiwan）之名出賽，1968年墨西哥城奧運繼續以台灣之名參賽。1972年慕尼黑奧運，台灣又改以中華民國之名參賽；1976年蒙特利爾奧運會，國際奧委會要求台灣以「台灣」之名參賽，遭到當時的領導人拒絶，因此台灣沒有參加這屆奧運會。1980年，台灣沒有參加莫斯科奧運會。
1979年，台美斷交，中美建交，同年國際奧委會便通過決議案，要求台灣更改會名，以「中華台北」（Chinese Taipei）的名義參賽，同時禁止使用中華民國國旗。
1984年洛杉磯奧運會，台灣首次以中華台北名義參賽，並持續至今。
2018年，台灣舉行公投決定是否要以「台灣」名義參加2020年東京奧運，不同意票佔54.8%，否決了提案。但杜文哲說，一方面，中華台北的標籤和旗幟的更換不斷明確地提醒人們台灣缺乏國際認可。另一方面，台灣運動員的成功每次都在激起民族主義情緒，同時也有助於獲得國際關注。
