1967'de Bingöl'de dünyaya geldi.ODTÜ Kamu Yönetimi Bölümünü birincilikle bitirdi. Yüksek lisansini ABD Denver Üniversitesi Uluslararasi Iliskiler Bölümünde, doktorasini Bilkent Üniversitesi Siyaset Bilimi ve Kamu Yönetimi Bölümünde tamamladi. Basbakanlik DPT Müstesarligi, AB ile Iliskiler Genel Müdürlügü görevlerini yürüttü. Ulusal Ajans, ATAUM ve Sümer Hali'da Yönetim Kurulu üyeliklerinde bulundu.
23, 24, 26 ve 27. Dönemde Bingöl, 25. Dönemde Diyarbakir Milletvekili seçildi. Parlamentolararasi Birlik (PAB) Türk Grubu Baskanligi yapti. 60. Hükûmette Devlet Bakani; 61, 62 ve 64. Hükûmetlerde Kalkinma Bakani, 63. Hükûmette Basbakan Yardimcisi olarak görev aldi.
AK PARTI MKYK Üyesi, Tanitim ve Medya, Dis Iliskiler ve Ekonomi Islerinden Sorumlu Genel Baskan Yardimcisi oldu. 2020 yili Kasim ayindan bu yana TBMM Plan ve Bütçe Komisyonu Baskanligi görevini sürdürmektedir.
Çok iyi düzeyde Ingilizce bilen Yilmaz, evli ve 2 çocuk babasidir