1938 yılında Rize’de doğdu. Daha çocuk sayılacak yaşta minderin güçlü isimleri Celal Atik, Mahmut Atalay, İsmail Oğan’ı teker teker yenerek ismini duyurmaya başladı. Onun döneminde denizcilik, Rizeliler arasında yaygındı. O da denize,
gezip görmeye meraklıydı. Gemici cüzdanını cebine koyar, okyanusa açılır, yetişirse güreş kampına katılır, seçmelere girer, rakiplerini yener, milli takıma girer ve şampiyon olarak yurda dönerdi. 1956 Olimpiyatları'na gidecekti. Mithat Bayrak, Kazım'ı yenemiyordu. O sıralarda Yalova'daki kampta "havagazı" açık kalmış, on sekiz yaşındaki Ayvaz, gazdan etkilenmiş ve olimpiyatlara katılamamıştı.
BİRİNCİLİKTEN BAŞKA DERECEYİ SEVMEZDİ
Mithat, Roma seçmelerinde de Kazım'ı aşamadı. Yöneticiler sonunda bu iki değerli güreşçiyi milli takıma taksim ettiler. 73 kilo, Kazım'ın esas sikleti 1956 Olimpiyatları şampiyonu Mithat'a verildi, O'nu da 79 kiloya sürdüler. Kazım, birincilikten başka hiçbir dereceyi sevmezdi. İkinci ya da üçüncü olacaksa güreşi bırakırdı. Pek çok şampiyonaya buz yiyerek çıkardı. Son derece dürüst ve mert bir sporcuydu. Hem serbest, hem de grekoromen branşlarında ustaydı. 1956 Olimpiyatları'na götürülmedi. İki yıl sonra Macaristan'ın başşehri Budapeşte'de düzenlenen Dünya Şampiyonası'na gemiden inerek takıma girip de gitti.
HAYALLERİ GERÇEK OLDU
Sevdiği ve istediği 73 kilodaydı. 19 sporcu arasında 2 kura numarası ile maçlarına başladı. İlk turda İsveçli Bertil Nyström'ü sayı ile yendi, ikinci turda Bulgar Mitu Petkov'u tuşladı. O tarihlerde grekoromen tür bir güreşte Bulgaristan'ı temsil eden bir sporcuyu tuşlayabilmek, adeta "hayal" den ibaretti; Kazım, bunu başardı. Üçüncü turda Finlandiyalı Olavi Niemi, Ayvaz’ı yendi. Dördüncü turdaki Çek Jiri Mekhed de dayanıklı bir sporcuydu. Üstelik grekoromeni iyi biliyordu. Finli'ye kaybeden Kazım Ayvaz'ın elenmemek için mutlaka bu engeli aşması gerekiyordu. Çek rakibini tuşla yenerek kötü puan durumunu ortaladı. Beşinci turda Rus Grigori Gamarik, ustaların ustası Yugoslav Stefan Horvat'la kapıştı ve müsabakadan sayı ile galip ayrılmayı başardı. Rumenlerin tarih boyunca yetiştirdiği en iyi grekoromencilerden biri sayılan Valeriu Bularca'yı da Kazım Ayvaz'ın önüne sürdüler. Bularca, orta sıkletin dünyadaki en ender görülen güreşçilerinden biri sayılan Kazım'a sayı ile yenilmek üzereyken jüri, karşılaşmanın berabere olduğunu ilan etti.