Futbol kariyerine Derincespor altyapısında başlayan ve 14 yaşında Beşiktaş altyapısına transfer olan 1999 doğumlu Alpay Çelebi, iki yıl önce Kocaelispor'da 2. Lig'de forma giydi.
1. Lig'de de kadroda yer alan Alpay Çelebi, devre arasında Adanaspor'a transfer olmuştu. Geçen yıl bonservisiyle birlikte Derincespor'a katılan 25 yaşındaki stoper, bu sezon ise 2. Lig'de Tuzlaspor'un isim hakkını satın alan Beykozspor'a transfer oldu.
Alpay Çelebi, geçen yıl Derincespor'da 28 lig ve iki kupa maçı olmak üzere toplam 30 maçta görev yaptı.