康有為起初對譚良相當信任，一九０六年六月瓊彩樓在芝加哥營業開張，成為芝加哥最豪華的中餐館，餐點包括炒雜碎、芙蓉蛋等美式中餐，還販售羊排、炸雞等西餐，餐館裝潢豪華，風格華洋混合，餐館大廳中間懸掛了精美大型吊燈，現場還有樂隊及小型中式劇院。而此時康有為在墨西哥淘金，大舉出擊，涉足房地產、電車、銀行等資金密集型企業，資金鏈崩得很緊，需要更大量的金錢周轉。因此，向保皇會內各企業頻繁催款調集資金，其中包括投資巨大的瓊彩樓。一九０六年十二月二十日康有為致譚良信云：「芝樓能揭三萬，速清最佳。……為電車路事無從籌大款，憂不可言！」然而瓊彩樓的經營似乎問題很大，股本金的分紅派息不僅少、而且很不及時，因此，不少人開始懷疑譚良挪用甚至貪污瓊彩樓的利潤。康有為甚至遷怒於譚良，他派出康有霈和湯銘三，對瓊彩樓進行查賬，瓊彩樓未能如期地提供現金周轉，康有為十分失望，甚至憤怒，他給譚良寫了多封措辭嚴厲的催款信，但是毫無結果。到一九０七年四月二十二日康有為還派林兆生、陳繼儼繼續核查瓊彩樓帳目，如此一來譚良的總辦之職，無疑地被架空了。不久，在墨西哥四面出擊的康有為，遭遇了資金和市場的雙重困境，極為狼狽。在「南長街五十四號藏梁氏檔案」有封一九０七年康有為給梁啟勳的信，此時康有為與譚張孝關係已生變。一九０八年三月九日康有為給梁啟超的信中說自去年十二月至今，「為商務事累幾嘔血，刻下頭痛肝痛」。是康有為經營這些商業，初頗得利，但後來致多虧折，這其間康有為方寸已亂，一下子指望電車開行，以彌補資金缺口，一下子欲低價拋售地皮，以挽危急，但似乎都無濟於事。因此他歸罪於譚良，是康有為至此憤怒已極，表示要把譚良逐出門牆，並訴諸法律，最好是能對譚良抄家。自此，「譚賊」、「譚盜」就成了康有為書信中對譚譚良的稱謂。
一九０八年六月五日譚良接到由湯銘三轉來的康有為信云：「張孝親筆來單二張，今將新單與前單校對，多不符，未免太隨意。前單第一條砵崙存款僅五千七百六十九元五毛七，今作七千二百九十六元零七，前單又不出收過商會公款各數千餘，真是亂來！」此信極長，除將譚良這兩年來的帳目清單，逐筆逐筆批駁之外，還說到：「以十六萬之巨款，三年而無分毫之息而以妄支他事，擅扣撥充股本之款，事同誘騙，實屬任意欺亂，謂之棍盜可也」又說：「總局存款出入皆計息，何況商款而不計乎？存銀行一日亦有息，乃領墨銀行十六萬之款而一文息不開，則十六萬兩年之息從何出？如此開數，可謂奇甚！」是康有為認為，商場中資金往來是有償的，用公款辦酒樓，必須加計利息，本息俱還。對於此，譚良完全無法認同，但他並沒有即時回覆，過了一些時日他在回覆湯銘三的信函中，首先表示他為何沒有及時回覆的原因，實在是他氣炸了，要等心情稍微平和時再回覆，緊接者他也是逐筆逐筆針對康有為的批駁再反駁回去，對於康有為的痛罵，他說：「先生責弟擅收各款，妄支他事，行同『誘騙』，直是『棍盜』等語，此皆先生言不由衷，唾駡之慣技，豈足取信！在弟皆奉令承教為間接之代理耳，一切支收均奉有先生手諭為據，並無分毫妄支擅取。原信具在，可為鐵證也。」而對於納息之事，他說：「姑無論無此巨款，即或有之，亦承上發下，隨手經過之款，並非存弟，又非弟私借，能責弟納息也？……試問代先生做生意之款應責弟納息否？……凡此皆承先生之命而以弟為傀儡者，能責弟納息否？……今謂商會出入之款皆計息，則主動者為先生，應納息多少，還問諸先生可也，弟豈能代任其咎？倘商會數目確能如此核算，今日獲利無量數矣。奈何其取盡銖錙，用如泥沙也，可歎！」是譚良認為他經營瓊彩樓是學生替老師辦事，他並因此而損失他在洛杉磯中醫館的許多生意，經營酒樓與借錢納息，完全是兩回事。他甚至批評康有為「取盡銖錙，用如泥沙」。最後他更說：「況華益諸人皆受工金，弟仗義而來，枵腹而去，反得今日之惡果，誠可哀矣！」可說是受盡委屈！
