Šimunić urodził się w stolicy Australii w Canberze w rodzinie Chorwatów z Bośni - emigrantów. Pierwsze piłkarskie kroki stawiał w znanej australijskiej szkole sportowej Australian Institute of Sport, z której pochodzi wielu znanych australijskich piłkarzy, jak choćby wielki przyjaciel Šimunicia, Mark Viduka. W sezonie 1995/1996 Šimunić trafił do pierwszej swojej drużyny klubowej, Melbourne Knights i nastoletni Josip już w pierwszym sezonie gry odniósł sukces, zdobywając medal w rozgrywkach klubowych w Australii. W sezonie 1996/1997 Šimunić zdobył swoje pierwsze gole w oficjalnych meczach – 3 w 14 spotkaniach ligowych.

Utalentowanym zawodnikiem dość szybko zainteresowano się w Europie. Latem 1997 Šimunić podpisał kontrakt z niemieckim klubem Hamburger SV. W Bundeslidze młody zawodnik nie miał praktycznie żadnych szans na grę i zadebiutował dopiero w 33. kolejce ligi, 2 maja 1998 w wygranym wyjazdowym meczu z Borussią Dortmund, kiedy to pojawił się na boisku w 84 minucie zmieniając Jacka Dembińskiego. Šimunić zagrał także w ostatniej, 34. kolejce ligowej w zremisowanym 1:1 meczu z 1. FC Kaiserslautern. W całym sezonie drużyna HSV zajęła 9. miejsce w lidze. Jak ciężko było się przebić do pierwszego składu świadczy sezon 1998/1999, kiedy Šimunić ani razu nie pojawił się na boisku. W kolejnym 1999/2000 zagrał w 6 meczach i nieznacznie przyczynił się do zajęcia przez Hamburger SV najniższego miejsca na podium Bundesligi, gdyż jeszcze zimą stał się piłkarzem stołecznej Herthy BSC. Kwota transferu opiewała na około 180 tysięcy euro, ale Šimunić miał już dość faktu, iż ciągle nie był brany pod uwagę w ustalaniu składu przez trenera Franka Pagelsdorfa. Jednak w rundzie wiosennej sezonu 1999/00 w Hercie nie zagrał ani razu. Od sezonu 2000/2001 trener Herthy Jürgen Röber coraz częściej wystawiał Josipa w składzie stołecznego zespołu, a konkurencja w obronie była duża, o czym świadczą takie nazwiska jak Eyjölfur Sverrisson, Marko Rehmer czy Kostas Konstantinidis. I tak w sezonie 2000/01 14 meczów ligowych Šimunicia w pewnym sensie przyczyniło się do zajęcia przez Herthę 5. miejsca w lidze, gwarantującego start w Pucharze UEFA. Sezon 2001/2002 był już dla Josipa dużo bardziej udany. Wreszcie wywalczył sobie miejsce w składze, Hertha zajęła jeszcze wyższe miejsce jak przed rokiem, bo czwarte. Gorzej było w Pucharze UEFA, z którego odpadła już po 3. rundzie przegrywając 0:3 w dwumeczu ze szwajcarskim Servette Genewa. Latem 2002 w zespole Herthy nastąpiła zmiana na stanowisku pierwszego trenera. Röbera zastąpił Holender Huub Stevens, ale i on widział Šimunicia w pierwszym składzie na środku obrony. W sezonie 2002/2003 Šimunić zagrał 22 mecze w lidze, a 7 grudnia 2002 zdobył swoją premierową bramkę w Bundeslidze. Był to gol strzelony głową w 25. minucie dający prowadzenie Hercie w meczu z VfL Wolfsburg (Hertha ostatecznie zremisowała to spotkanie 2:2). Na koniec sezonu drużyna z Berlina zajęła ponownie 5. miejsce. Dużo gorszy dla Herthy był sezon 2003/2004. Wtedy to z Šimuniciem w składzie odpadła z Pucharu UEFA już w pierwszej rundzie, podczas dwumeczu z Groclinem Grodzisk Wielkopolski, a w lidze zajęła dopiero 12. miejsce. W sezonie 2004/2005 było już lepiej i 30 meczów Šimunicia przyczyniło się do zajęcia przez jego drużynę 4. miejsca w Bundeslidze. Sezon 2005/2006 to dla Šimunicia nie tylko Bundesliga, ale i starty w Pucharze UEFA. W ciągu całego sezonu Josip grał mało, gdyż dość dużo czasu spędził w gabinetach lekarskich na leczeniu kontuzji i ostatecznie zagrał tylko 18 meczach ligowych (Hertha zakończyła ligę na 6. miejscu). W Pucharze UEFA Hertha awansowała do fazy grupowej, z grupy wyszła z 3. miejsca, ale w kolejnej rundzie nie sprostała drużynie Rapidu Bukareszt. Šimunić wraz ze swoim klubem udanie rozpoczął sezon 2006/2007. Dzięki Pucharowi Intertoto awansowali oni do Pucharu UEFA, gdzie przebrnęli 2. rundę wygrywając z gruzińskim FC Ameri Tbilisi.