Robert Kovač swoją piłkarską karierę w małym klubie Hertha Zehlendorf z miejscowości położonej na południe od Berlina. W barwach Herthy grał do 1995 roku i wtedy zauważono go i ściągnięto go do 1. FC Nürnberg grającego wówczas w Regionallidze. Kovač w nowym klubie rozegrał 33 mecze, zdobył 1 bramkę, klub z Norymbergi awansował do 2. Bundesligi. Wtedy to zapragnął go mieć u siebie Bayer Leverkusen i Robert zanotował prawdziwy awans w karierze. Bayer zapłacił za niego równowartość 430 tysięcy dzisiejszych euro. 22-letni wówczas Kovač w pierwszym sezonie (1996/1997) ogrywał się z 1. ligą. W drugim już (1997/1998) był już graczem pierwszego składu. W drużynie „Aptekarzy” grał do roku 2000 a jego największymi osiągniętymi z tym klubem sukcesami było 2-krotne wicemistrzostwo Niemiec w 1999 i 2000 roku.

Latem 2001 roku gra Kovača na tyle podobała się zarządowi i trenerowi Bayernu Monachium, że bez wahania zapłacili Bayerowi 8,5 miliona euro i Kovač wkrótce zameldował się w stolicy Bawarii. Przez pierwsze 2 sezony w Bayernie Kovač grał wraz z Thomasem Linke lub Samuelem Kuffourem na środku obrony. W sezonie 2003/2004 Kovač powoli wypadł ze składu a wpływ na to miały kontuzje a także zakup przez Bayern Argentyńczyka Martina Demichelisa. Latem 2004 doszedł jeszcze Brazylijczyk Lúcio i Kovač ciągle miał kłopoty z miejscem w składzie. Za to Bayern za czasów gry Roberta zdobył 2 razy tytuł mistrza Niemiec (2003 i 2005), a także Puchar Niemiec w 2004 roku. Gdy w lecie 2005 Robertowi skończył się kontrakt postanowił odejść do Juventusu Turyn. W Juventusie, podobnie jak w ostatnich latach w Bayernie także miał problemy z wywalczeniem miejsca w pierwszym składzie, co spowodowało, że w Serie A rozegrał tylko 18 meczów, w których strzelił 1 gola. Juventus został mistrzem Włoch, ale ze względu na aferę z kupowaniem meczów, odebrano zespołowi tytuł mistrza kraju, a klub zdegradowano do Serie B. Kovač postanowił pozostać w klubie na sezon 2006/2007 i awansował z nim do Serie A.

Latem 2007 Robert wrócił do Niemiec i na zasadzie wolnego transferu trafił do Borussii Dortmund.