古墳時代的「和菓子」指的其實是樹木或草類的果實等，類似現在所謂的水果，如水蜜桃、栗子、柿子、石榴等。有一則軼事傳說與此相關。傳說第十一代垂仁天皇有一次生病時，命令一位名為田道間守的忠臣去尋找治病聖藥「非時香菓」。非時香菓其實就是現在所謂的橘子，因其花朵綻放期長，果實又能長時間留在果樹上，樹性強健為常綠樹種而得名。田道間守花了十年的歲月遍尋中國、印度各地，當他好不容易找到橘子歸國時，天皇早已經駕崩歸天。聽說這位忠臣在為垂仁天皇獻祭橘子後就追隨天皇的腳步自盡了。這則軼事傳說使得後人尊田道間守為菓祖神，也就是和菓子之神，將之供奉在兵庫縣出石地區的中嶋神社。
