1947 yılında İstanbul'da doğdu. İstanbul Erkek Lisesi'ni bitirdi. Ankara Üniversitesi Siyasal Bilgiler Fakültesi Maliye ve İktisat bölümünden, 1971 yılında mezun oldu. Almanya'nın Köln Üniversitesi İktisadi ve Sosyal Bilimler Fakültesi'nde yüksek lisans yaptı.1975-1983 yılları arasında kimya tekstil ve ulaştırma sektörlerinde çeşitli özel şirketlerde yönetici olarak görev aldı.
1983 ılının Mayıs ayında kurulan Anavatan Partisi'ndekurucu üye ve Genel Başkan yardımcısı oldu. Aynı yıl yapılan genel seçimde Rize Milletvekili seçildi.Birinci Turgut Özal hükümetinde enformasyondan sorumlu devlet bakanlığına atandı ve hükümet sözcülüğü yaptı. 1986 yılında Kültür ve Turizm Bakanı oldu.
İkinci Özal hükümetinde Dışişleri Bakanlığına atandı. Mesut Yılmaz
Yıldırım Akbulut Hükümeti'nde de üstlendiği bu görevden 1990 tarihinde istifa etti.
1991 tarihinde Anavatan Partisi Genel Başkanlığına seçilen Mesut Yılmaz, 1995'te yapılan genel seçimler sonrası Anavatan Partisi ile Doğru Yol Partisi tarafından kurulan hükümette başbakan olarak görev aldı.
1999 tarihinde yapılan genel seçimlerde partisinin büyük oy kaybına rağmen DSP-MHP-ANAP koalisyonunda yer alarak Devlet Bakanı ve Başbakan Yardımcısı oldu. 2002'de partisi baraj altında kalınca istifa etti.
İyi seviyede İngilizce ve Almanca bilen Mesut Yılmaz, Berna Yılmaz, ile evli ve iki çocuk babasıdır.
Mesut Yılmaz'ın büyük oğlu Yavuz Yılmaz 2017 tarihinde evinde silahla vurulmuş halde bulunmuştu.Yavuz Yılmaz'ın intihar ettiğinden şüphe edildi.
Mesut Yılmaz'ın geçen yıl Ocak ayında yaptırdığı rutin sağlık kontrolünde akciğerinde tümöre rastlanmıştı. 23 Ocak 2019’da yapılan operasyon sonucu kanserli tümör temizlenmişti.
Uzun süredir akciğer kanseri tedavisi görmekte olan Mesut Yılmaz,hayatını kaybetti.