Köşkün ilk sahibi John Paterson adlı İskoçya’nın Leith kentinden İzmir’e gelmiş olan hububat taciriydi. 1859 yılında inşa edilmeye başlanan Paterson köşkü, 38 odalı büyük bir yapıydı.

John Paterson ve ailesi Kurtuluş Savaşı sırasında İzmir’den ayrılarak Girit adasına yerleşti. Savaş sonrası döndüklerinde köşklerinin hiçbir zarara uğramadığını gören aile, Cumhuriyet yıllarında ticari faaliyetlerini sürdürdü ancak Osmanlı dönemindeki kadar başarılı olamadılar.

Paterson ailesi 1963 yılında Türkiye’yi terk edip İngiltere’ye göç edene kadar bu köşkte yaşadı. Köşk beş yıla yakın bir süre NATO birliğinin ofisi olarak kullanıldı. 1973 yılında bir firma tarafından halı fabrikasına dönüştürülmek üzere kısmen yıkıldı. 1978 yılında İzmir İl İdaresi Anıtlar Yüksek Kurumu tarafından kamulaştırıldı. Ancak uzun yıllar boyunca çeşitli restorasyon projeleri gündeme gelse de yarı yıkık ve metruk kaldı. 2017 yılında 49 yıllığına İzmir Büyükşehir Belediyesi’ne kiralandı.

İlk at yarışları İzmir’de padişah adına yapıldı ve ardından tüm Türkiye’de günümüze değin yaygınlaştı. Paterson Köşkü, yarısı yarış atlarının yetiştirildiği ahırlar için kullanılan yaklaşık elli dört dönümlük bir arazi üstüne kurulmuştu. Paterson Köşkü bu nedenle “At Yarışı” ile simgeleniyor.