Büyük Ev’in bulunduğu yerde 18. yüzyılın başlarında Hollandalı rahibeler için inşa edilmiş bir manastırın bulunduğu biliniyor. İlk olarak Hollandalı bir göçmen tarafından tek katlı olarak inşa edilen bina, 1817 yılında İzmir’e yerleşen James Whittall tarafından 1820’lerde satın alındı. Onun ölümünden sonra kardeşi Charlton Whittall’in mülkiyetine geçen ev, daha sonraki yıllarda genişletildi, üzerine katlar ilave edildi ve “Büyük Ev” adıyla anılageldi.

Uluslararası ticaretle uğraşan Whittall Ailesi, İzmir’in ve Bornova’nın sosyal ve politik yaşamda önemli bir konumdaydı. Bu nedenle Büyük Ev farklı tarihlerde 1863’te Sultan Abdülaziz, 1886 yılında Edinburg Dükü Alfred Ernest Albert ile 1910 yılında George V. adıyla İngiliz tahtına çıkacak olan–George Frederick Ernest Albert ve 1921 yılında Yunan Prensi Andrew (1921) gibi pek çok önemli ismi ağırladı.

Büyük Ev 1930’larda Whittall ailesiyle akraba olan Giraud ailesinin mülkiyetine geçti; 1960 yılında kamulaştırılarak T.C. Maliye Hazinesi’ne devredildi. Büyük Ev günümüzde Ege Üniversitesi Rektörlük Binası olarak kullanılıyor.

Ticaret ile uğraşan Whittall ailesinin kayıkları da bulunmaktaydı. İzmir kayıkları hem gemideki ürünleri hem de yolcuları limana taşımak için önemli bir araçtı.

Bu nedenle Büyük Ev, “İzmir Kayığı” ile sembolize ediliyor.