遊廓中建築物同樣富麗堂皇，炫人耳目，裝潢採用最高級、最昂貴的選擇。其實，根據江戶初期的法令，遊廓裡的建築物不能太過舖張，不過法律無法停止人們追求享受與奢華。
當然，遊廓中最吸引人的還是非遊女莫屬。當時人們將遊女分成了不同的等級，第一級的稱為「太夫」，收費最高，甚至可以擺出姿態，拒絕客人；次一級的遊女，在江戶稱為「格子」，在京都和大阪則稱為「天神」，再接下來的等級也各自有不同名稱，收費也各不相同。
最高級的太夫，服飾極盡華麗之能事，上街前往接待客人，往往引起眾人爭睹。太夫的前頭會有人提燈籠開路，身旁則有隨從和仕女簇擁著，甚至有人敲鑼彈琴。太夫又被稱之為「花魁」，她們在街頭搖曳生姿的場面，則被稱之為了「花魁道中」。
想要成為「太夫」的遊女，不但必須外型姣好，更必須才藝過人。太夫接待的大多是達官貴人，必須展現同樣的教養，精通文學、音樂與藝術，才能滿足客人品味。要成為太夫，必須接受精心培養，更不是人人都能做得到的。
性的自由、欲望的解放，遊廓世界看來似乎風光無限好，有如情色的烏托邦。
不過，很多時候，一個人的享樂天堂，是建築在另一個人的地獄之上。
遊廓就是如此。對光顧的客人而言，遊廓讓人尋歡作樂，飲酒忘憂；但對遊女而言，遊廓卻禁錮著她們的自由──如果沒有特別的理由，遊女是不能踏出遊廓的。最高級的遊女，還有可能外出賞花，或是參拜神明；下級遊女則連這樣的機會都沒有。
此外，按照早期規定，遊女一天接待兩名客人，早晚各一名。但這樣的限制後來逐漸走樣，遊女每天接客人數日益增加，直到她們不堪負荷。要是偷懶或表現不佳，還會遭到業者的叱喝、責罵，或是虐待。
在這種悲慘的情況下，難免出現遊女逃跑的現象。但是，萬一逃跑失敗，遊女只會受到更為嚴厲的懲罰，甚至被業者吊起來鞭打。有些遊女承受不了，只能選擇自殺，以求解脫。
為了保證遊女的來源不絕，遊廓業者往往也與人口買賣掛勾，牽扯進綁架和拐騙的案子當中。有些尚未成年的少女，就這樣被賣進了遊廓，從此不得脫身。
江戶時代的人們將遊廓業者稱為「忘八」，意思是他們拋棄了「仁、義、禮、智、信、忠、孝、悌」等八種美德。一般人對他們的觀感，可見一斑。
除了遊廓的黑暗面外，江戶時代對於性的態度，也未必如一些人所想像的如此大膽奔放。
的確，井原西鶴的好色文學與浮世繪畫家的春畫作品，都在這個時代大受歡迎。不過同一時間，江戶時代也有許多儒家的信徒，他們讀著四書五經，鼓吹傳統道德，要求女性貞潔孝順，而且積極地在各地 傳播思想，開班授課。
