Markus Tovoinen (guitare) créé Ensiferum en 1995 à Helsinki avec l'aide de Kimmo Mietten (batterie) et Sauli Savolainen (basse) . Son ancien groupe Dark Reflection ne comblait plus ses élans musicaux, c'est pourquoi il créé Ensiferum dans l'intention de jouer de l'Heroic Metal . La légende veut que, de passage chez Sauli, Markus s'empare d'un dictionnaire de latin et l'ouvre au hasard . Il tombe alors sur le mot « Ensiferum » ( celui qui tient l'épée) qu'ils adoptèrent désormais comme nom .

En 1996, le groupe commence à répeter quelques compositions de Markus ( « Knighthood », « Old Man », « Frost ») . Puis Jari Mäenpää arrive et devient désormais le leader emblématique du groupe . Le talent de composition et la virtuosité de celui-ci apportent beaucoup à la formation qui fait son premier concert à Helsinki cette même année .
Le groupe fait une halte en 1997 à cause du service militaire de Jari . Mais Ensiferum reprend d'emblée et les finlandais enregistrent leur première démo . Celle-ci contient les trois titres cités précedement .

En 1998 Oliver Fokin arrive dans le groupe et remplace Kimmo à la batterie . Puis Jukka-Pekka Miettinen vient pour prendre la place de son frère à la basse, il n'a alors que 14 ans .

Leur seconde démo est enregistrée en 1999 et contient les titres ” The Dreamer’s Prelude”, ”Little Dreamer (Väinämöinen II)”, ”Warrior’s Quest” et ”White Storm” .
Leur dernière démo est enregistrée fin 1999 et contient les titres ”Intro”, ”Hero In A Dream”, ”Eternal Wait”, ”Battle Song” et en bonus ”Guardians Of Fate” .

« Ensiferum », premier album du groupe sort en 2001 et marque l'arrivée de Meiju Enho au clavier .
Le succès est immédiat, ce qui permet au groupe de faire une vingtaine de dates dont le Tuska Open Air en 2002 .

« Iron », second album des Finlandais sort en 2003, enregistré par Flemming Rasmussen (« Master of Puppets », « Ride the Lightning » . Peu après, Jari Mäenpää qui désire se consacrer pleinement à son autre projet Wintersun laisse sa place de leader à Petri Lindroos (Norther) .

Après une grande tournée européenne en 2004, Jukka-Pekka quitte le groupe . Il est remplacé par le bassiste Sami Hinkka . L'année suivante, ils continuent de parcourir le monde .
Jane Parvianen vient alors remplacer Oliver Fokin à la batterie en vue de l'enregistrement de « Dragonheads » en 2006 .

En 2007, Ensiferum enregistre son quatrième album intitulé Victory Songs .