5 mart 1921 yılında Kayseri’nin Endürlük köyünde doğmuştur. Babası Mehmet öldüğünde henüz 3 yaşında olan Ayhan, annesi Hanımın’ın köyü Akçakaya’da büyümüş ve ilkokul tahsilini Zencidere’de yapmıştır. Bu okulda kilise orgunu kendi kendine çalmayı öğrenerek orgtan çıkan ulvi sesten son derece haz duymuş ve bu durum onun ilk defa müzikle de tanışması olmuştur.

     Ailenin tek çocuğu olan Ayhan, ilkokulda iken hem okumuş hem de üvey babasının bakkalında çalışmıştır. hayatının en acımasız ve zor yıllarını çocukluk yıllarında yaşayan Ayhan, 9-10 yaşlarındayken, komşuları olan Hacı Ömer Sabancı emmisinin onu da diğer büyükleri gibi çalışmaya Adana’ya göndermesiyle devam eder. Çırçır fabrikasında balya basarken, balyadan arasında sıkışır onu kimse fark edemez, kendine yol açarak balyadan kurtulmayı başaran Ayhan o telaşla ve korkuyla soluğu Kayseri de alır. Fırın çıraklığında, saat tamirciliğinde ve daha birçok işler dede çalışmış olan sanatçının asıl mesleğinin marangozluk olması kendi sazını kendisinin yapmasına da olanak sağlamıştır. Makine aksamında da anlayan sanatçının dikiş dikmeye kadar her türlü iş elinden gelirmiş II. cihan harbi dolayısıyla Kahramanmaraş ve Konya’da 4 sene askerlik yapan Ayhan bu sebepten dolayı Konya tavrının tüm türkülerini asılları kadar güzel söyler ve yorumlamıştır. Askerlik dönüşü demiryolları marangoz atölyesi’nde çalışmıştır.

     Çok küçük yaşta tahta kaşığı at kılı bağlayarak saz çalmaya başlamış ve saz çalmayı ona öğreten hiç kimse olmamıştır bu büyük kabiliyeti babasın dan almış olan sanatçının annesi ise köyün mevlüt okuyucularındanmış. Kayseri türkülerini çok küçük yaşta ananesinden öğrenmiş ilk sazını amcası hediye etmiş babası çok güzel saz çalarmış onsuzda saz çalıp, zeybek oynayan babasının yeteneğini alan Ayhan “bunu yapamadın ama ben dek ekimle saz çalıyorum” dermiş.

     İnce sesleri zenginleştirmek için sazların göğsüne doğru perde koyarak sazın daha çok ses vermesini sağlayan Ahmet Gazi Ayhan müzik kabiliyetini yüksek bir saz virtüözüymüş. Aynı zamanda şair olan sanatçı saatlerce saz şairiyle karşılıklı atışırmış hazır cevap nüktedan bir yapısı olan Ayhan irticaları hicivli şiirler ve besteler yapmıştır. 1944 yılında Ankara radyosunun açmış olduğu stajyer sanatçı imtihanına arkadaşlarının “bu sınavı sen kazanamazsın” iddiasıyla girmeye karar vermiştir 1950 senesinde serbest çalışmak için Ankara radyosu’ndan ayrılmış ve 1954 yılında da geri dönmüştür.

     Türk Halk Müziği’nde pek çok derlemeler yapmıştır. Kayseri’ye, Akçakoca’ya, bahçesine, Erciyes Dağına ve avcılığa tutkun olan Ahmet Gazi Ayhan her zaman oranın özlemlerini ve hasretini çekmiştir. Unutmadığı pek çok anılarını köy sohbetlerine mahsus havasıyla anlatır ve dinleyicileri kendine hayran bırakmış.

     9 Şubat 1987 yılında hayata gözlerini yuman Ahmet Gazi Ayhan Zincirli kuyu mezarlığına defnedilmiştir.