37 yaşındaki Yılmaz, antrenorluk kariyerine eski hocası Şenol Guneş'in yardımcılığıyla başladı.
Futbolculuk doneminde daha once Guneş'le Trabzonspor ve Beşiktaş'ta calışan Yılmaz, son olarak Hollanda Eredivisie ekiplerinden Fortuna Sittard forması giymişti.