V písemných pramenech je Jílové poprvé zmiňováno v listině Karla IV. z 20. prosince 1348. V ní panovník nařídil zemským úředníkům nepodnikat žádné kroky proti ústeckým měšťanům, kteří zbořili čtyři dvory, mezi nimi byl uveden i dvůr „Eulow“. Proč byl dvůr vypleněn beztrestně? V Čechách kvetla loupežnictví pšenka odjakživa. I tady na severu, protože tudy vedly obchodní cesty. Podél nich byly vystavěny hrady a tvrze jako správní střediska a ochrana kupeckých výprav. A právě z posádek těchto původně obranných tvrzí se často rekrutovaly loupeživé bandy.
Jedna taková sídlila i v Jílovém. Pravděpodobně ale nešlo o nynější zámek, ale o nějakou tvrz na Výrovně, kde by vzhledem ke své poloze takové sídlo bylo logičtější. Základy jakési tvrze tam jsou patrné i dnes, ovšem nikdy nikdo tuto hypotézu neprokázal a pokud víme, vážně se tím ani žádný badatel nezabýval. Karel IV. se o bezpečnost své země staral velmi energicky. Pokud historii trochu zlehčíme, pak lapkům vděčíme za první písemnou zmínku o Jílovém. Originál listiny je uložen v muzeu v Ústí nad Labem.
Na místě původní tvrze byl v roce 1370 vystavěn vodní hrad, který byl v 16. st. přestavěn do podoby renesančního zámku, ale vodní příkop tu byl dál. Dnes tu stojí barokním most, ale dříve tu býval most padací. Katastrální mapa z roku 1843 ukazuje, že zámek měl vodní příkop už pouze z čelní strany, směrem k náměstí se rozšiřoval do rybníka. Kde rybník byl by už dnes nikdo nepoznal, rozprostíral se v místech dnešní budovy městského úřadu. V té době také náměstí tak, jak ho známe dnes, neexistovalo. Hlavní centrum Jílového bylo v místech, kde je dnes velká křižovatka mezi koupalištěm a Lidovým domem, kde také byla původně radnice.
S příchodem Thunů vodní příkop i rybník zmizely – stalo se tak ve 30. letech 20. století, kdy Thun – Hohensteinové nabídli zámek v Děčíně československému státu za dlužné daně a natrvalo přesídlili do Jílového.
Vraťme se ale ještě hlouběji do minulosti. V roce 1527 koupil zdejší panství Jindřich z Bünau. Páni z Bünau přišli ze sousedního Saska a s nimi přišlo i nové náboženství. Po Jindřichovi tu byli jeho dva synové. Po bitvě na Bílé hoře ale museli protestantští rytíři z Bünau na základě Obnoveného zřízení zemského z roku 1627 (zemi museli opustit lidé, kteří nechtěli přijmout katolické náboženství) odejít ze země a tak 2. srpna 1628 (jiné prameny ale uvádějí letopočet 1629) prodali majitelé zámku celé panství („statek Jílové, ležící v Litoměřickém kraji, se dvěma tvrzemi a třemi poplužními dvory, ves Horní a Dolní Jílové“) Kryštofu Šimonovi z Thunu, tehdy již pánu na Děčíně.
Jílové přešlo do državy rodu Thunů a jim pak náleželo až do roku 1945. Byli to právě Bünauští, kteří původní tvrz přebudovali na zámek a zvedli ho o dvě patra. Na sklonku 19. století byla nalezena deska s letopočtem 1574, která má být důkazem, že k přestavbě došlo právě v tuto dobu, na desce je ještě písmeno „P“, které označuje snad stavitele, mohl by jím být Valentin Preisler, kterému například vděčíme za staroměstský most přes Ploučnici.
Z řady majitelů Thunského rodu se musíme zastavit u Františka Zikmunda, velkopřevora maltézského řádu v Čechách, admirála řádové i papežské flotily a slavného válečníka, který se proslavil ve válkách proti Turkům. Zemřel v roce 1702 a byl to právě on, kdo přestavěl Jílovský zámek do zhruba dnešní podoby. Mimo jiné vzala za své vysoká, taškami opatřená věž, doložená ještě v roce 1637. Na jednotlivých stranách zámku stály obranné věže.
Panským sídlem byl zámek pouze nakrátko na sklonku 18. století, kdy tu žil hrabě Prokop Thun. Hrabě Prokop se původně měl stát držitelem celého děčínského majorátu, ale pro duševní chorobu byl císařským rozhodnutím ze 22. ledna 1782 z následnictví vyloučen. Roku 1786 se majorátu ujal jeho mladší bratr Václav Josef. O hraběte Prokopa na Jílovském zámku pečoval jílovský purkrabí Franz Langer.
Jak vypadal zámek v roce 1796, tedy o deset let později, víme docela přesně, dochoval se písemný popis uvádějící, že „je celý vyzděný z kvádrů, dolní část je celá klenutá a sestává pod zemí ze 3 sklepů, 2 skladištních sklepů, a pak 2 lednic, v přízemí z 1 předsíně, 3 pokojů, 2 kuchyní a 3 kvelbů, ve 2. podlaží z 8 pokojů a 1 předsálí, ve 3. podlaží z také tolika, ale nedostavěných pokojů a nad nimi ze 3 půd pod ležatým krovem, krytým šindelem.“ Týž popis uvádí, že zámek se oceňuje na 600 zlatých.
V roce 1842 si Josef Münzberg pronajal nevyužívaný zámek a zřídil v něm přádelnu vlny a výrobu vlněných látek. V okolí se chovalo mnoho ovcí, voda Jílovského potoka byla přímo na místě a tak se zdálo, že místo je ideální. V této době také zámek prošel úpravami – jedna z nich při rekonstrukci zámku pěkně zamotala hlavu Městu i památkářům. V přízemí se totiž propadla část podlah a objevil se tunel vedoucí ven ze zámku. Veškeré práce se zastavily, nastoupili památkáři a jejich verdikt nakonec zněl – tunel pro náhon, potřebný pro pohon strojů. Ukázalo se ovšem, že hladina Jílovského potoka kolísá a není tudíž vhodný pro podobnou činnost. Bylo tedy nutno vystavět rybník s vysokou hrází a velice dlouhý náhon, který musel mít patřičný sklon. Ani to však továrnu nezachránilo. V roce 1922 výroba v Jílovém ustala.
V letech 1928 – 1930 nechal majitel panství kníže František Antonín Thun – Hohestein zámek přestavět. Jak bylo už řečeno, následkem pozemkové reformy se spravování rozsáhlého děčínského sídla stalo finančně velmi náročným a po vyměření dědické daně potomkům Jaroslava Thuna neúnosné. Proto František Thun nabídl zámek státu a odešel s rodinou do Jílového. Tato poslední přestavba učinila ze zámku moderní a účelně řešené rodinné sídlo, byť na první pohled zámek jako zámek příliš nevypadá.
Z okolních pozemků byl vytvořen romantický park s jezírkem a glorietem, sportovními i zahradními plochami, cestičkami k procházkám. Nádvoří bylo osazeno sochami a vázami. Chloubou celého areálu pak byla terasovitá zahrada osázená skalničkami s jezírkem v nejnižší části. Snad to měla být náhrada za ztracenou Růžovou zahradu v Děčíně, kterou sem přenést nemohli. Jinak tomu ale bylo s glorietem – ten původně stával v zahradách pod zámkem v Děčíně a kašnou, kterou na nádvoří Jílovského zámku nechali převézt z nádvoří v Děčíně.
19. dubna 1945 byl zámek značně poškozen leteckým bombardováním. Šlo o bombardování nádraží, pravděpodobně během velkých bombových útoků na Ústí nad Labem. První nálet 17. 4. se Jílovému vyhnul, druhý už ne.
Po skončení války byl zámek v Jílovém součástí konfiskovaného thunského majetku. Poslední majitelé tu sice ještě do jara 1946 bydleli, zároveň s nimi tu ale sídlila stráž národní bezpečnosti. Velká část majetku byla spálena, rozkradena, odvezena neznámo kam. To, co se přece podařilo zachránit, je dnes buď v muzeu v Děčíně nebo už zpět na zámku v Děčíně – víme například o židlích z původního vybavení zámku.
V roce 1947 se začalo uvažovat o důkladné rekonstrukci zámku, který byl přidělen Stalinovým závodům v Záluží u Mostu. Plány však nikdy nebyly zrealizovány, na zámku proběhly jen nezbytné úpravy a poté tu byl zřízen dětský domov a po něm zemědělské učiliště s internátem.
V roce 1998 bylo rámci "Optimalizace sítě středních škol" Střední zemědělské učiliště s internátem v Jílovém zrušeno. V roce 2000 byl zámek převeden do majetku města Jílové, které začalo téměř ihned s nákladnou rekonstrukcí objektu zámku i přilehlého parku a dalších budov, které k areálu Jílovského zámku patří.
V současné době je zrekonstruováno přízemí a první patro zámku, jsou zpřístupněny renesanční sklepy. Zámek slouží jako kulturní a společenské středisko, přilehlý park je volně přístupný veřejnosti.