「賦稅人權」關乎憲法基本權中的「平等權」、「工作權」、「財產權」與「生存權」，而與「財產權」和「生存權」息息相關的「居住權」，當然也受憲法保障而為其中一環。對此，前行政院長、現任財團法人新世代金融基金會董事長陳沖曾說，自住房屋稅應謙卑；而康克爾國際法律事務所律師趙文銘則認為，這句話應解釋為「維持國民基本生活所需的財產，是國家不得課稅的『基本權保障禁區』，或者應採取友善的課稅方式，不能超過財產可能獲得租金的一定比例。」
憲法保障居住權 住房課稅應輕如鴻毛
檢視當前與房屋相關的「賦稅人權」問題，首重「自住使用房屋」課徵稅負。趙文銘認為，「居住權」是憲法保障的基本權，也是不課稅的禁區，因為安居才能樂業，這是普世價值。若從此一觀點來看，「自住使用房屋」不應課稅，或縱使政府有財政需求，徵收房屋稅也應輕如鴻毛，不能影響居住基本人權。
曾任消基會董事長、現為衍義國際法律事務所所長蘇錦霞則指出，房屋稅雖給予「自住使用房屋」的稅負優惠，但卻形成另一種「打壓結婚」的方式。她舉例，倘若夫妻結婚前各有房屋，且各自登記「自住」享稅負優惠，然婚後夫妻依法卻只能登記一處「自住使用房屋」享稅負優惠，此法規即對已婚族群不公平。
資誠聯合會計師事務所營運長許祺昌也認為，「自住使用房屋」課徵稅負問題重重，他解釋，因各法規範不同的關係，部分法律明文要求自住者「戶籍」須設籍，而當時立法目的在於給予自住者更多優惠，避免其基本生活權遭到侵犯。不過立法者並未把「戶籍」當成優惠要件，「戶籍」僅為方便行政機關認定是否「自住」之參考，然稅務機關竟演變成依賴「戶籍」登記，甚至將「戶籍」登記變成法律構成要件，此已偏離立法目的。
事實上，律師陳長文其妻名下房子就曾因稅捐處誤植不存在的眼鏡行，被課以較重稅負，此錯誤不僅長達15年之久，陳長文更為此溢繳約17萬元，但國稅局最後卻只肯退5年稅額。趙文銘解釋，因房屋稅單上並未列出稅額計算公式，導致人民根本不知稅額核定依據為何，自然錯誤百出；也因本例，促成《稅捐稽徵法》第28條修法，倘若溢繳稅款可歸責於政府機關錯誤，人民可以請求退還全部溢繳稅款。
減少錯徵守荷包 納稅權利主張別睡著
諸如因稅務機關錯誤造成人民損害的案例不勝枚舉，若要減少此類錯誤發生，趙文銘認為，最起碼要做到每份稅單需詳細註明計算式，以及各項數字所代表的意義，納稅義務人才有機會檢視是否正確，保護自己的荷包。
另外，許祺昌也認為，需透過制度設計加強稅務機關上層查核官員勇於任事的決心，糾正下級稅務官員錯誤認定稅額的行為；另外，亦需增加外部專家進入事後行政、司法救濟階段，以減少行政機關「官官相護」、「息事寧人」的態度。
蘇錦霞則說，民眾因政府錯誤而溢付稅金，要求政府退還時總讓人覺得政府不爽快退款，甚至藉口國庫支付款項有種種行政程序刁難民眾，可對人民課稅時態度則蠻橫強悍，遲繳有滯納金、漏繳還得罰鍰。她認為，政府這種態度，應該修正。
此外，《房屋稅條例》第11條規定，稽徵機關應依據不動產評價委員會評定之標準價格核計房屋現值，每3年重新評定一次。對此趙文銘批評，因評定價格因子包含房屋構造標準單價、耐用年數、折舊率、街路等級調整率等複雜要件，他認為，應回歸應有收益課稅之本質來檢驗，無論房屋大小、市場價格，均應依市場上租金行情，調整成為自住者所能負擔之稅賦。
縱使採用造價方式方便評價，若評價後適用稅率、路段率倍數之結果，超過市場租金行情所能負擔之行情，政府即應調整路段率，甚至由議會修法調降稅率。蘇錦霞也認為，評定的時間不是問題，重點在於評定的基準才是關鍵，有必要通盤檢討改進。
納稅不只是「義務」，更有「權利」可以主張！從《納稅者權利保護法》第四條第一項「納稅者為維持自己及受扶養親屬享有符合人性尊嚴之基本生活所需之費用，不得加以課稅」來看，自住房屋費用是維持基本生活所需，政府不得加以課稅，人民當然要主張此項「賦稅人權」。房屋相關稅賦中，倘若符合前開規定，納稅人也應覺醒，主張自己享有的「賦稅人權」，別讓權利睡著。
