Ortaokul eğitiminden sonra Eskişehir Atatürk Lisesi'nde okumaya başlayan Büyükerşen, buradaki eğitimini de tamamladıktan sonra Eskişehir İktisadi ve Ticari İlimler Akademisi'ne kayıt yaptırdı.
Buradan 1962 senesinde mezun olan Büyükerşen, bu akademinin ilk mezunlarındandır.
1966 senesinde doktorasını tamamladı, 1968 senesinde doçent, 1973'te de profesör oldu.
Yılmaz Büyükerşen, 1976 senesinde mezun olduğu akademinin başkanı seçildi.
1982 senesinde Eskişehir Anadolu Üniversitesi'nin rektörlüğüne atandı.
Eskişehir'de Türkiye'nin ilk sinema ve Televizyon Okulu'nu kurdu.
Akademik kariyerinin yanında siyasete de atılmak isteyen Büyükerşen, 18 Nisan 1999 Yerel Seçimleri'nde Demokratik Sol Parti'den Eskişehir Büyükşehir Belediyesi Başkan adayı oldu. Oyların %44'ünü alarak Eskişehir Büyükşehir Belediye Başkanı seçildi.
2004 ve 2009 Yerel Seçimleri'nde de aynı partiden aday olan Büyükerşen, her seçimde oylarını arttırarak tekrar seçildi.
2011 senesinde DSP'den istifa ederek CHP'ye geçti ve 2011 Yerel Seçimleri'nde CHP'den Eskişehir Büyükşehir Belediye Başkanlığı'na aday oldu. Bu seçimlerde de halkın çoğunluğunun oyunu alarak Belediye Başkanı seçildi.