Benzema urodził się w Lyonie w rodzinie algierskich emigrantów. Jeszcze jako dziecko trafił do małego klubu Bron Terraillon, a w 1996 do jednej z najsłynniejszych szkółek piłkarskich w Europie, jaką jest szkółka Olympique Lyon. W 2004 roku trafił do pierwszej drużyny mistrza Francji i w barwach Lyonu w Ligue 1 zadebiutował 15 stycznia 2005 w wygranym 2:0 meczu z FC Metz, gdy w 77. minucie zmienił Pierre'a Alaina Fraua. Trener Olympique Paul Le Guen stopniowo wprowadzał młodego Karima do zespołu i łącznie w lidze Benzema zagrał w 6 meczach i wywalczył z Lyonem mistrzostwo Francji. Benzema najlepiej czuje się na środku ataku, ale może grać także jako skrzydłowy i tak był ustawiany przez nowego trenera Lyonu, Gerarda Houlliera w sezonie 2005/2006. Zagrał wówczas w 13 meczach pierwszej drużyny i strzelił 1 gola w Ligue 1 (4 marca 2006 w wygranym 3:1 wyjazdowym meczu z Ajaccio AC). Wystąpił także w 1 meczu Ligi Mistrzów, grupowym z Rosenborgiem Trondheim i w 33. minucie zdobył gola na 1:0, a Lyon ostatecznie wygrał 2:1. Z Lyonem Benzema po raz drugi z rzędu wywalczył mistrzostwo kraju. Sezon 2006/2007 jest sezonem przełomowym w karierze Benzemy, który dobrze wprowadził się do zespołu i najczęściej jako jeden z pierwszych wchodził na boisko z ławki rezerwowych. W rundzie jesiennej uzyskał 4 gole w lidze, oraz 4 w grupowej fazie Ligi Mistrzów.