這種由膚色賦予的特權鑲嵌在種族多元社會的肌理中，因為不是靠實力爭取來，也不被其他族裔認可，所以成了多元種族社會的一個潛在衝突源頭。
和大部分涉及種族、歧視的概念一樣，「白人特權」自誕生以來就爭議不斷。批評者認為，它用膚色／白色特徵來代表階級，忽略了其他權力結構和各種社會屬性所附帶的其他一系列內在特權。還有不少人認為它具有攻擊性，冒犯性。
來龍去脈
不同膚色、不同族裔的人對「白人特權」有不同的理解；這種特權在不同社會階層、不同收入群體和不同的歷史時空裏都有不同的表現形式。
英國伯明翰大學的黑人研究教授，同時也是英國黑人權益活動人士，安德魯斯（Kehinde Andrews）教授認為，這個概念最早出自1930年代美國黑人民權活動家杜波伊斯（William Du Bois）筆下；他用這個概念來解釋美國白人勞工如何因為膚色而得益於種族隔離政策。
另一種較普遍的觀點認為，「白人特權」是社會學家麥金塔（Peggy McIntosh）1988年在一篇論述白色特權和男性特權的文章裏提出的，還開列出近50種表現形式各異的「白人特權」。
她在1989年的〈白人特權：打開隱形背包〉一文中對此作了進一步闡述。這篇文章發表在《和平與自由》雜誌上，後來被視為了解「白人特權」的入門讀物。
麥金托什稱之為「無形的、沒有重量的背包」的白人特權，可以體現為特殊待遇、保障、工具、地圖指引、解碼手冊、通行證、護照簽證、服裝、指南針、救生服，以及空白支票。
也就是說，白人特權可以滲入社會的各個角落，包括就業、教育、醫療和個人髮展等多方面成為體制的一部分。這包括對自我價值觀的文化認可，與生俱來的特殊社會地位和不言而喻的各種社會生活自由和權利。
她提出這個概念的目的之一是希望白人意識到自己與生俱來的特權，意識到根據社會公平和正義的理念，自己有責任盡可能減少這種特權，因為「白人特權」造成了種族社會關係不平等的現狀。
從那以後，「白人特權」就經常被用來解釋移民國家多元種族社會的內在權力架構，以及這種體制性的隱性特權如何使白種人享受更多社會資源、利益，同時將有色人種置於劣勢、弱勢地位。
華裔和白人特權
2016年2月，美國發生了兩件與華裔直接相關的事，一是紐約華裔警察梁彼得執勤時開槍，子彈彈跳擊中沒有武器的黑人，被判過失殺人。判決出來後引起華人社區抗議，認為梁彼得案判決存在種族歧視。
