Nedaleko starší osady ležící při brodu přes řeku Jihlavu vzniklo díky rozvoji těžby stříbra po roce 1240 královské horní město Jihlava. První zmínka o osadě jménem Jihlava pochází z roku 1233, kdy olomoucký biskup Robert potvrdil převod zboží (kde figuroval i název Jihlava) řádu německých rytířů do vlastnictví želivského kláštera. V roce 1234 vyměnil markrabě Přemysl a královna Konstancie s klášterem Porta Coeli v Předklášteří mimo jiné i statek Jihlava s okolními vesnicemi a mýtem za jiný majetek. Po roce 1240 se Jihlava vrátila zpět do držby Václava I. a brzy poté (někdy mezi lety 1240–1243) bylo založeno horní město. Do nového města přicházelo pravděpodobně množství lidí, ochotných se účastnit na těžbě a zpracování stříbra. Už k roku 1249 se zmiňují mince ražené v Jihlavě, jisté ovšem není, zda zde už tak brzy fungovala mincovna. Již před rokem 1253 vznikla i zakládající listina Jihlavy, která město charakterizovala i z právního hlediska, dodnes se však nedochovala.

V roce 1270 Jihlava obdržela od Přemysla Otakara II. stavební řád. Podle plánů vznikla síť pravidelně se křížících ulic vedoucích kolem rozlehlého nynějšího Masarykova náměstí. Pravděpodobně v tomto roce také došlo ke stavbě opevnění s parkánem a příkopem (i když se v listině mluví o znovuvýstavbě zřícených věží, což by nasvědčovalo, že nějaké opevnění existovalo již i dříve). V 70. a 80. letech 13. století byla těžba stříbra nejživější.

Za husitských válek nebylo katolické město Jihlava husity nikdy dobyto. V roce 1436 byla na jihlavském náměstí (dnes Masarykovo) vyhlášena Basilejská kompaktáta.

V období třicetiletých válek v březnu 1645 se města zmocnili Švédové pod velením Lennart Torstensona (1603-1651). Město přestavěli na barokní pevnost s předsunutým opevněním - bastionem. Po jejich odchodu v roce 1647 zůstalo město zničené a obývalo ho pouhých 1000 obyvatel.

Druhá světová válka Jihlavu též velice zasáhla. Několik dnů po obsazení Němci byla vypálena židovská synagoga a odehrála se zde největší partyzánská akce v zemi: Výbuchem byl poškozen most u Helenína a při přejezdu vlaku se převrátil. Důsledkem toho bylo 80 mrtvých nacistů.

Do roku 1945 tvořila Jihlava se svým okolím druhou největší německou jazykovou enklávu na území českých zemí. Velký rozvoj město zažilo v 18. a 19. století, když se stalo druhým největším producentem sukna v tehdejší habsburské monarchii. V 19. století docházelo k rozvoji průmyslu a také k bourání částí hradeb a bran s úzkými průjezdy. V letech 1864 - 1928 byla Jihlava poprvé statutárním městem. Roku 1923 byla k Jihlavě připojena obec Dřevěné mlýny. V období komunismu byly k Jihlavě připojeny i obce náležející do Čech a v roce 1960 se Jihlava stala okresním městem Jihomoravského kraje s krajským městem Brno. V historickém jádru města (od roku 1982 vyhlášeno městskou památkovou rezervací) lze najít domy mnoho historických slohů a zbytky městských hradeb ze 14. a 15. století.