C'est fin 1978 que Jaz Coleman recontre Paul Ferguson. Ensemble, ils formeront Killing Joke en recrutant par le biais d'une annonce énigmatique Youth et Geordie, respectivement à la basse et à la guitare.
En 1980 ils sortent leur premier album, éponyme, caractéristique du grand bordel post punk de ce qu'on appelait à l'époque la New Wave: violence, son froid, batterie tribale mais des chansons finalement très dansantes. Ce côté "night club friendly" les rendra célèbres de l'autre côté de l'Atlantique.
Par la suite, partagé entre humour pervers et prédictions apocalyptiques face à la course à l'armement nucléaire, Killing Joke subira des pressions: Jaz se fend d'une vision prophétique de la fin du monde et se réfugie en Islande, rejoint par Geordie Walker.Les deux autres essaient de continuer tant bien que mal en se renommant Brilliant, mais n'ont pas le succès escompté, et Big Ferguson laisse Youth, esseulé, aux commandes de Brilliant.
Coleman, Walker et Ferguson remontent Killing Joke avec un inconnu à la quatre cordes, Paul Raven (vous savez, un des gars de Prong). Ils cartonnent avec Eighties (qui inspirera Cobain pour son Come As You Are). L'album Brighter Than A Thousand Suns sort en 1986. Tout semble donc mieux se passer, le succès commence à revenir.
Mais Virgin Records bricole un album avec des morceaux de Jaz et Geordie seuls, ce sera l'inégal Outside The Gates. Le groupe se resépare, et se ruine dans un procès avec la maison de disque.
En 1991 sort Extremities, Dirt & Various Repressed Emotions, un album plus "underground", plus alternatif, amer et acide. Et, paradoxalement, c'est avec ce son là, et alors que le groupe semble agoniser, que Killing Joke commence à retrouver les clés du succès, mais plus dans le rock, dans le métal: Extremities lorgne sérieusement sur l'indus, et si Raven et Walker se dirigent vers d'autres groupes (le premier rejoint Prong, le deuxième passe une audition pour intégrer Faith No More) il s'agit de groupes de métal. Fini la new wave donc.
A l'occasion de la sortie de la compilation Laugh? I nearly Bought One (avec son curé nazi sur la pochette) Youth et Walker renouent contact et reforme Killing Joke.
L'excellent Pandemonium sort en 1994, suivi deux ans plus tard par le plus controversé mais non moins intéressant et violent Democracy. Ensuite, Jaz Coleman (compositeur officiel de République Tchèque, dites le à ceux qui dénigrent le métal!) se concentre sur ses projets de musique classique.
Les années passent...et en 2003, retour sur le devant de la scène, avec un nouvel album, prénommé Killing Joke lui aussi, avec Dave Grohl (Foo Fighters, Nirvana) derrière les fûts, rien que ça...S'ensuit une tournée avec Mötley Crüe et un autre album, excellent, en 2006, Hosannas From The Basements Of Hell.
Un nouveau disque devrait venir en avril 2010, deux morceaux, Fresh Fever et Timewave, ayant été terminés. Des dates ont été annoncés pour la tournée, au printemps 2010.