Фиммел родился недалеко от маленького провинциального города Эчака, между Мельбурном и Сиднеем, и вырос там. Он является сыном медсестры Дженни и фермера Криса, разводящего крупный рогатый скот. Трэвис имеет английские и немецкие корни. Он является младшим из трех братьев и вырос на молочной ферме, располагающейся на 5500 акрах в Локингстоне.
Фиммел переехал в Мельбурн, чтобы профессионально играть в юношеской сборной австралийской футбольной лиге за клуб St. Kilda, но из-за сломанной ноги вынужден был покинуть клуб до начала сезона. Он поступил в Университет RMIT чтобы изучать коммерческую архитектуру и инженерию, но позже вместо этого решил поехать за границу.
Любимые виды отдыха и развлечений актера включают футбол, кемпинг, серфинг, езду на мотоцикле и походы на пляж.
Фиммел также играл со знаменитостями матч по крикету в 2009 году (австралийские знаменитости против голливудских) с другими австралийскими актерами Джесси Спенсером («Доктор Хаус») и Кэмероном Даддо («Агентство моделей»), а также знаменитым шеф-поваром Кёртисом Стоуном, бас-гитаристом INXS Гарри Гэри Бирсом и игроком в боулинг Майклом Каспровичем.
