Colchester est une garnison militaire importante depuis l'époque romaine. La garnison de Colchester abrite actuellement la 16e brigade d'assaut aérien. Le seul centre de formation militaire corrective de l'armée, connu familièrement au sein des forces et localement sous le nom de « The Glasshouse » d'après la prison militaire d'origine d'Aldershot,[36] se trouve à Berechurch Hall Road, à la périphérie de Colchester.[37] Le centre accueille des militaires des trois services condamnés à des périodes de détention.

De 1998 à 2008, la zone de garnison de la ville a fait l'objet d'un réaménagement massif. Une grande partie des terrains du ministère de la Défense a été vendue pour la construction de logements privés et une partie de la garnison a été déplacée. De nombreuses parties de la garnison sont désormais vides en attendant la deuxième phase du développement.

Depuis 2006, Colchester est l'un des 12 endroits au Royaume-Uni où des salutations royales sont tirées pour marquer les anniversaires royaux et les visites de chefs d'État étrangers. Depuis 2009, ces saluts ont lieu dans le parc du Château.

Colchester abrite plusieurs musées. Le musée du château, situé dans le château de Colchester, présente une vaste exposition sur la ville romaine de Colchester. A proximité se trouvent le musée Hollytrees, un musée d'histoire sociale avec des expositions pour enfants dans l'ancienne maison de Charles Gray, et le musée d'histoire naturelle de la ville, situé dans l'ancienne église de Tous les Saints. Le musée de l'horloge de Tymperley, situé au centre-ville dans une maison à colombages du XVe siècle, qui abritait autrefois William Gilbert, abrite aujourd'hui la collection d'horloges de Bernard Mason.

Le lien de la ville avec le football avait commencé avec le club amateur de Colchester Town, formé en 1867 et dissous en 1937. Ils furent remplacés par le club professionnel Colchester United, qui participe à la Football League One et joue des matchs à domicile au Colchester Community Stadium. Fondé en 1937, le club est entré dans la Ligue de football en 1950. Colchester United Ladies joue dans la division sud de la FA Women's Premier League. Les autres équipes sportives basées dans la ville comprennent le Colchester Rugby Football Club, le Colchester Gladiators American Football Club, le Colchester Weight Lifting Club et le Colchester & East Essex Cricket Club. L'Essex County Cricket Club joue certains de ses matchs à domicile au Castle Park Cricket Ground, domicile de Colchester & East Essex.

Les installations sportives de Colchester comprennent le centre sportif, Colchester Leisure World, le Colchester Garrison Athletics Stadium (une installation coopérative utilisée à la fois par l'armée et la population civile) et un skatepark.

Le zoo de Colchester est un grand zoo situé à la périphérie de la ville.

Le principal monument médiéval de Colchester est le château de Colchester, qui est un donjon normand du XIe siècle construit au-dessus des voûtes de l'ancien temple romain. Il y a des ruines médiévales remarquables à Colchester, y compris la porte survivante de l'abbaye bénédictine de Saint-Jean-Baptiste (connue localement sous le nom de « Abbaye de Saint-Jean ») et les ruines du prieuré augustin de Saint-Botolph (connu localement sous le nom de « Prieuré Saint-Botolph"). De nombreuses églises paroissiales de Colchester datent de cette période.

Colchester s'est développé rapidement à la fin du 14e siècle en tant que centre de l'industrie du drap de laine et est devenu célèbre dans de nombreuses régions d'Europe pour ses roussâtres (tissus de couleur gris-brun). Cela a permis à la population de se remettre exceptionnellement rapidement des effets de la peste noire, notamment grâce à l'immigration dans la ville.

Entre 1550 et 1600, un grand nombre de tisserands et de drapiers de Flandre émigrèrent à Colchester et dans les environs. Ils étaient célèbres pour la production de tissus « Bays and Says » tissés à partir de laine et sont normalement associés à Baize et Serge, bien que les exemples survivants montrent qu'ils étaient assez différents de leurs équivalents modernes. Une zone du centre-ville de Colchester est encore connue sous le nom de quartier hollandais et de nombreux bâtiments datent de la période Tudor. Durant cette période, Colchester était l'une des villes lainières les plus prospères d'Angleterre et était également célèbre pour ses huîtres. L'ancien mur romain longe Northgate Street, dans le quartier hollandais.

En 1648, pendant la Seconde Guerre civile anglaise, une armée royaliste dirigée par Lord Goring entra dans la ville. Une armée parlementaire de poursuite dirigée par Sir Thomas Fairfax et Henry Ireton a encerclé la ville pendant onze semaines et demie, période connue sous le nom de siège de Colchester. Cela a commencé le 13 juin. Les royalistes se rendirent à la fin de l'été (le 27 août, Lord Goring signa le document de capitulation au Kings Head Inn) et Sir Charles Lucas et Sir George Lisle furent exécutés dans l'enceinte du château de Colchester. Un petit obélisque marque l'endroit où ils sont tombés.

Daniel Defoe mentionne dans Une tournée à travers l'Angleterre et le Pays de Galles que la ville a perdu plus de 5 000 personnes à cause de la peste en 1665, « plus proportionnellement que n'importe lequel de ses voisins ou que la ville de Londres ». Cependant, au moment où il écrivit ces lignes en 1722, il estimait sa population à environ 40 000 habitants (y compris les « villages extérieurs »).

En 1884, la ville a été frappée par le tremblement de terre de Colchester, estimé à 4,7 sur l'échelle de Richter, causant d'importants dégâts régionaux.

Au début du XXe siècle, Colchester a fait pression pour être le siège d'un nouveau diocèse de l'Église d'Angleterre pour l'Essex, qui serait séparé du diocèse existant de Rochester. La candidature n'a pas abouti, le chef-lieu de Chelmsford formant le siège du nouveau diocèse. L'Université d'Essex a été créée à la périphérie de la ville, à Wivenhoe Park, en 1961. L'A120 Colchester Eastern Bypass, d'une valeur de 22,7 millions de livres sterling, d'une longueur de huit milles, a ouvert ses portes en juin 1982.