Futbola 5 yaşında Schalke 04 altyapısında başladı.[1] 2009 yılında Schalke 07'nin U-17 takımında forma giymeye başladı. Sonraki sezon U-17 dışında U-19 takımında da oynamaya başladı. 23 maçta 7 gol 5 asist ile oynadığı 2011-12 sezonunda batı grubu şampiyonu olarak Almanya finallerine kaldılar. FC Schalke 04, Bayern Münih'i 2-1 yenerek Almanya şampiyonu olurken, Ayhan 90 dakika oynayıp bir asist yaptı

2013-14 sezonunda dördüncü ligdeki FC Schalke 04 II takımına yükseldi ve ligin ilk haftasında SSVg Velbert'i 4-0 yendikleri maçta kariyerinin ilk profesyonel maçına çıktı ve o maç 2 asistle oynadı. FC Schalke 04, Ocak 2012'de Ayhan ile profesyonel sözleşme imzalayacağını açıkladı. 4 Kasım 2013'te sözleşmesi 2017'ye kadar uzatıldı. Devre arasında bir başka Bundesliga ekibi Eintracht Frankfurt'a kiralandı. Burada da yedek kulübesinde kalan futbolcu sadece iki maçta dakika bulabildi.

Nisan ayının sonunda geçirdiği sakatlıkla da sezonu dört hafta kala kapattı. Yaz transfer döneminde Schalke 04'ten 2. Bundesliga ekibi Fortuna Düsseldorf'a 500 bin € karşılığında transfer olmuştur. Takıma biraz geç katıldığı için ilk maçına altıncı haftada çıkabilen futbolcu, takımın önemli oyuncularından biri haline geldi ve 23 maçta forma şansı buldu. Agresif futboluyla dikkat çeken futbolcu iki maçı kart cezalarından kaçırırken, 21 Mart 2017'de FC St. Pauli ile oynanan maçta hakeme söylediği sözlerden ötürü üç maç ceza aldı. Millî takım kariyerine, 2009'da Romanya ile oynanan hazırlık maçları kadrosuna dahil edilerek Türkiye U-17'de başladı. Ancak Türkiye ile çıktığı maçtan 15 gün sonra ilk kez Almanya U-16 forması giydi.

2010 yılında U-17 forması giymeye başladı. 2011'de Avrupa 17 Yaş Altı Futbol Şampiyonası kadrosunda yer aldı. Almanya Avrupa ikincisi olurken, Ayhan üç maçta forma giyip, yarı final maçında bir gol kaydetti. Bu başarı ile aynı yıl FIFA 17 Yaş Altı Dünya Kupası'na katılmaya hak kazandılar. Ayhan, Almanya'nın yedi maçında da oynayıp, çeyrek finalde bir gol attı. Turnuva sonunda Almanya, Dünya üçüncüsü oldu. 2012'de ise U-18 forması giymeye başladı.

Ayhan, daha sonra bir kez daha karar değiştirerek Avrupa Şampiyonası elemeleri için Ekim 2013'te oynanan maçlarda Türkiye 21 yaş altı millî futbol takımı kadrosuna dahil edildi ve burada forma giymeye başladı. Türkiye A millî futbol takım Teknik direktörü Fatih Terim tarafından 31 Ağustos 2016'da Rusya'ya karşı oynana dostluk maçı ve ardından Hırvatistan'a karşı 2018 Dünya Kupası elemeleri kadrosuna çağrıldı. Kaan Ayhan, 31 Ağustos 2016'da Türkiye milli takımı formasını ilk kez Rusya'ya karşı bir hazırlık maçında giydi.