奧利佛本人則是另一個因素。儘管連鎖餐廳分店愈開愈多，他盡量到店裡監督營運狀況。他的精神和使命是他餐廳品牌的一部分，而這個部分是可以擴展的。即使奧利佛無法在全世界打著他名號的餐廳親自為客人做菜，依然可讓每一個來客感覺到他的影響力。不幸的是，奧利佛低估自己對餐廳的重要性。
2017年，布雷根帶著兩個高階主管出走，奧利佛的連鎖餐廳開始崩壞。奧利佛找人取代他們，但犯了一個錯誤，也就是找個不合格的人來掌管餐廳，並繼續展店，那個人就是他的妹夫保羅．杭特（Paul Hunt）。杭特以前是股票經紀人，1999年曾因內線交易被判刑、罰款，因此對Jamie’s Italian這種以價值為導向的餐飲集團，並不是最好的人選。更重要的是，杭特在餐飲業的經驗不多。他擅長的是砍掉負債累累、嚴重虧損的分店，但在選擇新的開店地點和合作夥伴以擴張版圖方面，就少了布雷根的魔力。正如奧利佛餐飲集團未來的執行長在帝國傾圮之後的公開談話：「我們太快在錯誤的地點開了太多餐廳。」
正面的公司文化才留得住人。杭特留不住員工，這點也是規模化的致命傷。從奧利佛餐廳離職的員工後來曾描述杭特這個人，說他是個惡霸，而且有性別歧視的問題，使員工士氣受到打擊。（然而，奧利佛曾公開為妹夫辯護，以減少外界對他的撻伐。）
更糟的是，這時奧利佛已忙得焦頭爛額，能出現在餐廳的時間很有限。他的缺席，加上杭特的缺點，導致領導力真空，加上美食外送產業的競爭，奧利佛的餐飲集團更難靈活適應這個不斷變動的市場。這是個當頭棒喝，亦即成功規模化不只是維持生產力、分配與需求，也要能在情勢有所轉變時靈活應變。如果關鍵人物顧此失彼（記住，人才無法規模化！），企業就會變得遲鈍笨拙。
而對任何餐廳來說，最糟的不是輸給新的競爭者，而是品質下降。這正是傑米奧利佛餐廳面對的重擊。顧客在網路及媒體留下一大堆負評（一位顧客在TripAdvisor 發表評論說：「不但難吃，服務也教人不敢恭維。」 還有無數的顧客也有同感）。一位美食評論家在《週日泰晤士報》（ Sunday Times）寫道，在Jamie’s Italian 用餐的經驗讓她想大喊與翻桌。或許奧利佛也會想這麼做。2019年初，奧利佛的餐飲集團虧損1億美元，他不得不關閉該集團在英國的25家餐廳，資遣1,000名員工。2020年，他在別無選擇之下，只能關閉更多的分店，包括台灣和香港。
奧利佛曾經風光好幾年，很少有廚師能像他這樣成功規模化。但最終，規模化的電壓減弱，無以為繼，於是他的餐廳帝國瓦解了。
