Mario Gomez urodził się w Riedlingen nad Dunajem. Jego rodzina ma hiszpańskie korzenie. Pierwsze kroki stawiał w małych klubach SV Unlingen oraz FV Saulgau. Następnie występował w drużynie SSV Ulm 1846, w której był do 2001 roku. W tym roku trafił do VfB Stuttgart, gdzie najpierw występował w drużynie młodzieżowej, a w 2003 roku został dołączony do składu rezerw VfB.

W Bundeslidze zadebiutował w sezonie 2003/2004, gdzie 8 maja w wyjazdowym meczu 32. kolejki, wszedł na boiska w przegranym 1:2 z Hamburger SV. Zmienił w 48. minucie Imre Szabicsa. W marcu pojawił się w meczu 1/8 finału Ligi Mistrzów UEFA przeciwko Chelsea Londyn. W tym samym sezonie z młodzieżowym zespołem VfB został mistrzem Niemiec. W sezonie 2004/2005 w drużynie amatorów w Regionallidze Gomez zdobył 15 goli w 24 meczach, co spowodowało, że zdołał zagrać w 8 ligowych meczach pierwszego zespołu, z którym zajął 5. miejsce w lidze.

W sezonie 2005/2006 Mario Gomez został dołączony do pierwszego zespołu VfB i 17 września w wygranym wyjazdowym meczu z FSV Mainz 05 zdobył swojego pierwszego gola w lidze. Łącznie Gomez wystąpił w 30 spotkaniach i zdobył 6 goli, dokładając do tego dwa trafienia w Pucharze UEFA (oba w meczu z Rapidem Bukareszt, wygranym 2:1). Ze Stuttgartem zajął 9. miejsce w Bundeslidze.

Latem 2006 Gomez przedłużył kontrakt z klubem ze Stuttgartu do 30 czerwca 2011 roku. Od początku sezonu 2006/2007 zaczął grać w pierwszej jedenastce VfB i utrzymywał wysoką skuteczność. W rundzie jesiennej zdobył 8 goli w lidze, a w każdym meczu pierwszych czterech kolejek w rundzie wiosennej zdobywał gola. Jednak w meczu z VfL Bochum doznał kontuzji i do końca sezonu nie pojawił się na boisku, ale Stuttgart poradził sobie bez Gomeza i wywalczył mistrzostwo Niemiec. Mario w całym sezonie zdobył 14 goli w lidze.

Od sezonu 2009/2010 jest piłkarzem Bayernu Monachium. Sezon 2010/11 zakończył z tytułem króla strzelców niemieckiej Bundesligi.