趙元任會講三十三種漢語方言，會說英、法、德、日、西班牙語等多種外語。而且說得和當地人一樣，還會使用他們的方言。趙夫人楊步偉在自傳中就說：「戰後我們到歐洲去參加世界科學會議，在巴黎車站，趙先生和提行李的紅帽子即刻說他沒有機會說的巴黎市俗土語。那提行李的聽了，便向他嘆道：『您回來啦！現在可不如從前了，巴黎窮了。』後來我們到了德國福蘭克福，趙先生又說福城的土音德語，他們又向他說：『您回來了？打完仗頭一次回來呀。』趙先生最大的快樂就是到了世界任何地方，人家都說他回來了都認他是老鄉。」
趙元任之所以能成為二十世紀國際上負有第一等聲譽的語言學家和音樂界早已公認的中國最好的「和聲學家」，大概就因為他有一對超乎尋常的耳朵，這在國際上公認是全球一共不到五對中的一對，它能聽出極細微的方言的分別，能辨出用儀器才能測出的「音的偏差」。趙元任就說過胡適好像有點Tone deaf（音盲），他們在康乃爾大學同學時，偶然有音樂會他總是拉胡先生一道去，但胡先生毫無興趣。趙元任在康乃爾大學主修數學，選修物理，他說：「倒是學自然科學的比較喜歡音樂，如果像胡適之先生那樣有影響力的人早年在北平也喜歡音樂的話，說不定音樂的風氣還會開化很早些。」在他們那一輩朋友中，傅斯年、李濟也與音樂無緣，趙元任說李濟唱歌時五音不全；傅斯年一度好像喜歡過京劇，但也沒有入迷。
趙元任說當年胡適、劉半農、徐志摩都愛寫新詩，他不會作詩，只好作曲了。於是一時興起，就替他們的詩作譜上一曲，往往一個晚上就寫好了。像〈上山〉、〈教我如何不想他〉、〈小詩〉、〈茶花女飲酒歌〉、〈海韻〉、〈瓶花〉、〈也是微雲〉，都是這樣寫成的。他最怕人家稱他作曲家，他說他充其量只是一個「譜曲家」而已。
今聖嘆（程靖宇）說，在民國十幾年代中，中國儒林「懼內」的名家，名列前茅的當推清華教授李四光，趙元任不列第二，也是第三。他說楊步偉管教她四個女兒─如蘭（Iris）、新那（Nova）、來思（Lensey）、小中（Bella），都採用自由民主教育，個個書讀得極好，後來都在美國或中國當教授，皆卓然有成。但其管教丈夫卻不講自由民主，而是採用東方傳統「子曰館」老學究─「動輒夏楚以威之」─打人的辦法，如此一來趙元任不懼也得「懼」了。晚年，有學生某，笑問趙博士夫婦說：老師與師母，能相處得這樣好，有何秘訣？楊步偉說：「完全是因為他耐性好」；趙元任則幽默的回答：「哪裡的話，是我的忘性好！」。弦外之音，頗堪玩味！
