再加上，和少年相戀的成年男性們，為了確保繁衍子嗣，照理來說都會和女性結婚。少年並不是共度一生的永久伴侶。即使說到性關係，少年基本上也都是被動的一方。性愛由成年男性主導，少年無論是社會地位還是性關係，都是弱勢。基於這點，就和追求雙方當事人的主體性、關係的平等，同時還要和異性戀夫妻有同等伴侶關係的現今「男同性戀」，有明顯的差異。
明治以後，變成性別「倒錯」
雖然我們不能忘記剛才闡述的那些負面事實，但單就不會把男性之間的性愛關係當成「倒錯」或性別異常、病態，甚至歧視他們為「變態」這點來看，江戶以前的「男色」，在社會上確實較為自由。但明治以後，近代化的過程中，受到西方性別科學，以及視同性愛為一種罪過（例如會實際以法律制裁男同性戀）的價值觀影響，使得日本也將同性戀視為「變態」、性別「倒錯」，進而開始邊緣化。
三島由紀夫的代表作之一的《假面的告白》（1949年），就是以當事人的第一人稱，鉅細靡遺地描寫視同性戀為異常行為的近代日本。主角隱瞞自己的性慾望和戀愛感情，就這麼過活。
另一方面，明治以後的日本，在寄宿生活的男校中，也還留有「男色」文化。其反映在森鷗外（《性慾的生活》1909年）和福永武彥（《草之花》1954年）的文學作品中。
對LGBTQ的排斥
就像寄宿制男校，在只有男性存在的環境，或是以男性為中心的環境，都有男性之間的戀愛萌芽。這絕非是日本特有的現象。眾所周知，在以男性為主的古希臘社會中，男同性戀和少年之間的愛都習以為常。近代西洋文學和電影當中，也有愛德華．摩根．福斯特撰寫的，以男校為舞臺的《莫利斯的情人》（Maurice／1971年），還有以寄宿制為舞臺，訴說學長與少年之間的戀愛的法國電影《寄宿學校——悲傷天使》（日文片名．1970年於日本公開／原名Les Amitiés particulière），這些都與在日本男校孕育而生的男同性戀很相似。
另外，日本「男色」認為男同性戀比異性戀更具藝術性、更有美感。這樣的概念，與描寫著名詩人阿蒂爾·蘭波與保羅·魏爾倫之間性事的電影《全蝕狂愛》（1996年／Total Eclipse）不謀而合。
將藝術至上主義、耽美主義與男同性戀融合，也是日本「男色」的特徵之一。但這樣的現象，同樣存在於西方社會。換言之，日本的「男色」絕非是遠東島國固有的特殊文化，而是超越時代、地區，存在於男性心中的一種普遍慾望。
只不過，在西方社會中，例如英國二十世紀半葉前，男性之間的性關係，會受到社會、法律嚴厲的制裁。如今在當事人努力抗議社會對男同性戀如此排斥之下，好不容易才消除或者減輕將同性戀當成異常性關係，同時也不再是用法律制裁來抑制的族群了。
