983 yılında kurulan ANAP’ın kurucu üyeleri arasında yer alan Mesut Yılmaz, partinin Genel Başkan Yardımcılığı’nın üstlendi. Aynı yıl Rize Milletvekili olarak TBMM’ye girdi. 1986-1990 yılları arasında Başbakan Turgut Özal’un kurduğu hükümetlerde Dışişleri Bakanlığı ve Kültür ve Turizm Bakanlığı yaptı.

Turgut Özal’ın Cumhurbaşkanı seçilmesinin ardından ANAP Genel Başkanı olan Yıldırım Akbulut’un istifasının ardından 1991 yılında yapılan kongrede yeni genel başkan seçildi. 23 Haziran 1991-20 Kasım 1991, 6 Mart 1996-28 Haziran 1996 ve 30 Haziran 1997-11 Ocak 1999 tarihleri arasında, kurulan koalisyon hükümetlerinde Başbakan olarak görev yaptı.

ANAP 3 Kasım 2002 Türkiye Genel Seçimleri’nde TBMM’ye giremeyince istifa etti. 2007’deki seçimlerde ise Rize’den bağımsız milletvekili seçildi. 2004 yılında ‘Türkbank ihalesi’ soruşturması kapsamında Yüce Divan’da yargılandı. Cumhuriyet tarihinde Yüce Divan'da yargılanan ilk başbakan oldu.