Kalundborg er oprindeligt grundlagt af Esbern Snare omkring år 1170, så den har en lang og spændende historie bag sig. Esbern Snare, som var af den famøse Hvide slægt, byggede i det 12. århundrede en borg. Ruinerne fra denne kan ses i den såkaldte ruinpark som ligger lige overfor vandrerhjemmet. De gamle borgrester er for nyligt blevet ryddet for krat, så det nu er muligt at gå tur der og se hvordan borgen så ud i middelalderen, da Hviderne og det danske kongehus benyttede den. I Kalundborg har vi i dag en flot højby med bygninger der daterer tilbage til middelalderen.
Her er blandt andet vores femtårnede kirke, Vor Frue Kirke, som er ikke mindre en 850 år gammel. Kirken er imponerende i fremtoning på grund af sine fem tårne, der får den til at ligne en middelalderborg. Der er kun få kirker i verden, som har fem tårne. Kirkens midterste tårn styrtede ned i det 18. århundrede men er bygget op igen. Vor Frue Kirke har for nyligt fået foræret et klokkespil, som tre gange om dagen spiller melodier. Vandrerhjemmet ligger få minutters gang fra kirken, så man kan både se og høre den fra vores hus.
I Højbyen ligger også byens museum. Museets skoletjeneste tilbyder både rundvisninger på museets udstilling og tilhørende opgaver. Herudover kan man sammen med museet lave et såkaldt korsridderprojekt. Museets udstilling, som har til huse i en bygning far 1500-tallet, byder på en tur gennem områdets historie helt fra oldtiden og til nu. Særligt interessant er det at se fundene fra en stor lokal vikingeboplads. Især for de mindre børn vil det måske være interessant at se museets samling af antikt legetøj eller museets eget lille tegneseriemuseum. Herudover har museets udstillinger som giver et spændende indblik i, hvordan folk har boet, arbejdet og gået klædt undervejs i Sjællands historie. I museets have er en model af, hvordan byen så ud i 1650. Kalundborgs museum er et dejligt lille museum der er til at overskue, især for de yngre årgange.
På Røsnæs ligger der et historisk Fyrtårn, der bestem er et besøg værd. Fyret er bygget i 1840’erne og har været en del af flere krige. Omkring fyret kan man følge tre nye spor, som hver fortæller den spændende historie om én af de tre krige, hvor Røsnæs fyr har spillet en rolle. Her kan man lære om anden verdenskrig, den kolde krig og kanonbådskrigen. Undervejs på sporene kan man se de steder, hvor Røsnæs stadig bærer præg af krige. Efter en gåtur kan man besøge udstillingen i selve fyret, hvor der fortælles om 1000 års krigshistorie.