Rahmi Koç, 9 Ekim 1930 tarihinde Koç Holding’in kurucusu ve sahibi Vehbi Koç ile Sadberk Koç‘un dört çocuklarından ikincisi olarak doğdu. İlk ve orta öğrenimini Ankara'da tamamladı. İstanbul’da bulunan Robert Koleji'nde öğrenim gördü. Daha sonra yüksek öğrenim görmek için Amerika’ya giden Koç, Johns Hopkins University B.A. Endüstriyel Sevk ve İdare Bölümü‘nde okudu.
1958 yılında İstanbul’da Harp Akademileri'nde yedek subay olarak yaptığı askerliğinin ardından Koç Şirketler Topluluğu’nda çalışmaya başladı. Bu dönemde Ankara’da Otokoç Şirketi’nde görev aldı. 1960 yılında Koç Ticaret A.Ş.’ye geçti. 1964'de Koç Holding A.Ş. Genel Koordinatörlüğü’ne başladı. 1970 yılında yedi kişilik İcra Komitesi’nin başkanı oldu. 1975'de İdare Meclisi Başkan Yardımcılığı'na gelmesinin ardından, 1980'de dört kişilik üst düzey idarecilerden kurulu, Koç Holding İdare Komitesi Başkanı oldu.
1984 yılında babası Vehbi Koç'dan İdare Meclisi Başkanlığı’nı devraldı. 30 Mart 1984’de Koç Holding Yönetim Kurulu Başkanlığı görevini üstlendi. 7 Kasım 1994 tarihinde yapılan Milletlerarası Ticaret Odası (ICC) toplantısında 1995-1996 yılları için ICC Başkanı olarak seçilen Rahmi Koç, 4 Nisan 2003 tarihinden itibaren Yönetim Kurulu Başkanlığı’nı oğlu Mustafa Koç'a devretti. Kendisi de daha önce babasının yaptığı gibi Koç Holding Şeref Başkanlığı’nı üstlendi.Alman Hükümeti tarafından Grosses Verdienst Kreuz ödülünü alan Koç, 18 Haziran 2001'de İtalya ile Türkiye arasındaki ticari ve ekonomik ilişkilerin geliştirilmesine olan katkılarından dolayı İtalyan Cumhuriyeti Yüksek Liyakat Nişanı’na layık görüldü.Koç, 1957 yılında Çiğdem (Meserretçioğlu) Simavi ile evlendi. Bu evlilikten Mustafa, Ömer ve Ali adlarında üç çocuğu vardır. 1973 yılında boşandılar.