Colchester har vært en viktig militær garnison siden romertiden. Colchester Garrison er for tiden hjemmet til den 16. Air Assault Brigade. Hærens eneste militære korrigerende treningssenter, kjent i daglig tale innenfor styrkene og lokalt som "The Glasshouse" etter det opprinnelige militærfengselet i Aldershot,[36] er i Berechurch Hall Road, i utkanten av Colchester.[37] Senteret har tjenestemenn og kvinner fra alle tre tjenestene som er dømt til å sone varetektsperioder.

Fra 1998 til 2008 gjennomgikk garnisonområdet i byen en massiv ombygging. Mye av Forsvarsdepartementets land ble solgt til privat boligutvikling og deler av garnisonen ble flyttet. Mange deler av garnisonen står nå tomme i påvente av andre fase av utbyggingen.

Siden 2006 har Colchester vært et av 12 steder i Storbritannia hvor Royal Salutes avfyres for å markere kongelige jubileer og besøk av utenlandske statsoverhoder. Fra 2009 har disse saluttene funnet sted i Slottsparken.

Colchester huser flere museer. Castle Museum, som finnes i Colchester Castle, har en omfattende utstilling om Roman Colchester. I nærheten ligger Hollytrees Museum, et sosialhistorisk museum med barneutstillinger i det tidligere hjemmet til Charles Gray, og byens Natural History Museum, som ligger i den tidligere All Saints' Church. Tymperley's Clock Museum, som ligger i sentrum i et tømmerhus fra 1400-tallet, en gang hjemmet til William Gilbert, huser nå Bernard Mason-klokkesamlingen.

Byens kobling til fotball hadde begynt med amatørklubben Colchester Town, dannet i 1867 og oppløst i 1937. De ble etterfulgt av den profesjonelle klubben Colchester United, som konkurrerer i Football League One og spiller hjemmekamper på Colchester Community Stadium. Klubben ble grunnlagt i 1937 og gikk inn i Football League i 1950. Colchester United Ladies spiller i FA Women's Premier League Southern Division. Andre idrettslag basert i byen inkluderer Colchester Rugby Football Club, Colchester Gladiators American Football Club, Colchester Weight Lifting Club og Colchester & East Essex Cricket Club. Essex County Cricket Club spiller noen av hjemmekampene deres på Castle Park Cricket Ground, hjemmet til Colchester & East Essex.

Sportsfasiliteter i Colchester inkluderer sportssenteret, Colchester Leisure World, Colchester Garrison Athletics Stadium (et samarbeidsanlegg som brukes av både hæren og sivilbefolkningen), og en skatepark.

Colchester Zoo er en stor dyrehage basert i utkanten av byen.

Middelalderske Colchesters viktigste landemerke er Colchester Castle, som er et normannisk 1000-tallsfort, og bygget på toppen av hvelvene til det gamle romerske tempelet. Det er bemerkelsesverdige middelalderruiner i Colchester, inkludert den overlevende porten til benediktinerklosteret St. John the Baptist (kjent lokalt som "St. John's Abbey"), og ruinene av det augustinske klosteret St. Botolph (lokalt kjent som "St. John's Abbey") St. Botolphs Priory"). Mange av Colchesters sognekirker stammer fra denne perioden.

Colchester utviklet seg raskt i løpet av det senere 1300-tallet som et senter for ullstoffindustrien, og ble berømt i mange deler av Europa for sine russer (stoffer i en gråbrun farge). Dette tillot befolkningen å komme seg eksepsjonelt raskt fra virkningene av svartedauden, spesielt ved immigrasjon til byen.

Mellom 1550 og 1600 emigrerte et stort antall vevere og klesmakere fra Flandern til Colchester og områdene rundt. De var kjent for produksjonen av "Bays and Says"-klær som ble vevd av ull og vanligvis assosieres med Baize og Serge, selv om overlevende eksempler viser at de var ganske forskjellige fra deres moderne ekvivalenter. Et område i Colchester sentrum er fortsatt kjent som det nederlandske kvarteret, og mange bygninger der stammer fra Tudor-perioden. I løpet av denne perioden var Colchester en av de mest velstående ullbyene i England, og var også kjent for sine østers. Den gamle romerske muren går langs Northgate Street i det nederlandske kvarteret.

I 1648, under den andre engelske borgerkrigen, kom en royalistisk hær ledet av Lord Goring inn i byen. En forfølgende parlamentarisk hær ledet av Sir Thomas Fairfax og Henry Ireton omringet byen i elleve og en halv uke, en periode kjent som beleiringen av Colchester. Det startet 13. juni. Royalistene overga seg på sensommeren (den 27. august signerte Lord Goring overgivelsesdokumentet i Kings Head Inn) og Sir Charles Lucas og Sir George Lisle ble henrettet på eiendommen til Colchester Castle. En liten obelisk markerer stedet der de falt.

Daniel Defoe nevner i En tur gjennom England og Wales at byen mistet over 5000 mennesker til pesten i 1665, "mer i proporsjon enn noen av naboene, eller enn byen London". Da han skrev dette i 1722, estimerte han imidlertid befolkningen til å være rundt 40 000 (inkludert "utelandsbyer").

I 1884 ble byen truffet av Colchester-jordskjelvet, anslått å ha vært 4,7 på Richter-skalaen og forårsaket omfattende regional skade.

På begynnelsen av 1900-tallet lobbet Colchester for å være sete for et nytt Church of England bispedømme for Essex, som skulle skilles fra det eksisterende bispedømmet Rochester. Budet var mislykket, og fylkesbyen Chelmsford dannet sete for det nye bispedømmet. University of Essex ble etablert i utkanten av byen ved Wivenhoe Park i 1961. Den åtte mil lange A120 Colchester Eastern Bypass åpnet i juni 1982.