他很坦然的指出，全世界任何監理機關、稽核的思維都類似，如果要去檢查金融機構，必先查曾經犯過錯的，任何一家銀行留有紀錄，想從名單中移除，重建各界的信任，需要花費很長的時間與極大的努力。「內稽、內控、法遵貴在自律，如果做好自律，監理機關通常認為毋須多費心力在你身上。」
國銀應擺脫重獲利、輕法律思維
事實上，在尚未出任、也還不知道是否會接任銀行公會理事長之時，他就在構思到海外舉辦法遵研討會之事。於是，2016年8月31日到臺銀就任，接續進入行政院督導小組、接任公會理事長後，他便積極推動此事，在第一次出席行政院督導小組會議時即提出此建議，然因當時情勢忙亂，雖然小組成員覺得這個做法不錯，沒有立即付諸實行。隔週督導小組開會時，他再次提出，即獲得成員一致贊同，經銀行公會理監事會同意，隨即積極展開規劃與作業，終於促成此次紐約研討會。
呂桔誠之所以重視法遵，並非近期受到全球主要國家法遵趨嚴影響，而是與其對國際銀行經營長期觀察，深刻體認法遵之重要性有關。他在進入公部門服務之前，歷練過美國、歐洲的銀行，深知法遵有助金融機構建立一個「SoundBanking System」（健全的金融體系），擺脫過於重視獲利而忽略法律風險的思維，進而打下永續經營基礎。
「一個健全的金融體系裡，有人踩油門（推展業務）、有人踩剎車（風險管理）、有人握方向盤（整體決策），同時有人當啄木鳥（除錯、除弊），也要有人當交通警察（確保法律遵循），國際上許多銀行都因有健全體制而能百年經營，我也非常希望我們國銀能建立起SoundBanking，長長久久經營下去。」
因此，在12年前，他首次擔任臺銀董事長時，即力推設置專職法遵人員，讓臺銀成為國內銀行界，最早、也是第一個建立專職法遵人員制度的銀行。儘管當時社會風氣不若今日如此重視法遵，讓他在推動時遭遇一些阻力，有人認為建立專職制度要花很多錢，會影響銀行獲利，但是他僅語重心長的講了一句話：「免錢的最貴！」在他對信念的堅持之下，就讓很多員工轉而支持。從後來國際上許多知名銀行以及國銀受罰事件觀察，「免錢的最貴」無論放諸國內外儼然都是不變的真理。
「我知道做到這件事要付出代價，但是這個代價是投資，不是費用！當你付出這個代價之後，得到的是Credit跟Credibility，得到信任也獲得信賴，從信用評等角度，銀行評等會因而加分甚至提升，更贏得金融界與整體社會的信賴，長期得到的遠比付出的更多！」
