Virsilaulu, luterilaisen messun tunnusomainen tuntomerkillä, on juuret varhaiskirkossa asti. Kristillisen kirkon kirkkolaulu juontuu juutalaisesta temppelipalveuksesta ja synagoogapalveluksista. Jerusalemin temppelissä kaikui vahva leeviläisten kuoron laulu ja lukuisia soittimia psalmilaulua säestämässä. Laulu on siis tullut idästä. Lännen kirkon piirissä kirkkolaulun edistäjä ja voimakas tukija oli Milanon piispa Ambrosius 300-luvulla. Milanon messujen musiikki ja Ambrosiuksen evankeliumisaarnat saivat Augustinuksen kääntymään kristityksi.
500-luvulla paavi Gregorius I oli vahva taloudellisten asioiden ja hallinnon kuntoon laittaja. Hän myös perusti Roomaan koulun laulajia varten, vaikka itse ei ollut vahva muusikko. Tuosta koulusta kasvoi lauluperinne, joka 800-luvulla koottiin kokonaisuudeksi, jonka tunnemme gregoriaanisena musiikkina.
Martti Luther perehtyi jo triviaalikoululaisena hyvänä laulajana tähän roomalaiskatolisessa kirkossa vahvana säilyneeseen traditioon. Hän osasi messun liturgiat ja responsoriot. Juristikoulussa Erfurtissa hän jatkoi laulun ja musiikin teorian oppimista ja perehtyi myös kansanmusiikkiin ja oppi soittamaan luuttua.
1520- luvun myrskyisän uskonpuhdistusvyöryn seurauksena oli messun kansankielelle siirtyminen, ehtoollisen jakaminen molemmissa muodoissa kirkkokansalle, jonka hengellinen hoito oli maksettujen messujen ja kiirastuliopin taloudellisten tuottomenetelmien jäänyt hoitamatta. Tarvittiin kristinuskon opettamiseksi ja opetuksen ihmisten sieluun ja sydämeen saattamiseksi kansankielisiä virsirunoja ja laulettavia melodioita. Tätä tarvetta varten julkaistiin Wittenbergissä tasan viisisataa vuotta sitten Achtliederbuch, kahdeksan saksankielisen virren kokoelma, ensimmäinen luterilainen virsikirja. Seurakunnan laulama virsi alkoi soida kirkoissa.
Kuinka luterilainen virsi tuli meidän maillemme. Tuona samana vuonna 1524 Ruotsin valtakunnassa tapahtui suuri mullistus. Kustaa Vaasa katkaisi suhteet roomalaiskatoliseen kirkkoon, otti piispojen nimitysoikeuden itselleen ja kaappasi kirkon valtion sisään. Alkoi suuri työ luterilaisen kristillisyyden muodon istuttamisessa ruotsalaiseen, balttilaiseen ja suomalaiseen kansaan. Tarvittiin kansankieltä taitavia pappeja, kirjoja ja lauluja.
1536 Turun arkkipiispa Martti Skytte lähetti sihteerinsä Mikael Agricolan Wittenbergiin Lutherin ja Melanchtonin oppilaaksi. Kotiin palattuaan Agricola alkoi kääntää uutta testamenttia ja vanhoja virsiä suomeksi. Muutama vuosikymmen vierähti kunnes ensimmäinen suomenkielinen virsikirja saatiin painoon 1583. Työn teki Jacob Finno, hänkin Wittenbergissä opiskellut.
Jo parikymmentä vuotta myöhemmin Maskun kirkkoherra Hemminki laati Finnon virsikirjaa laajemman kokoelman. Finnon lähes kaikki virret ja 141 uutta virttä muodostivat 1605 painetun Hemminki Maskulaisen virsikirjan. Kirjassa oli jo uskonpuhdistuksen jälkeen laadittuja virsiä, mutta myös paljon keskiaikaisia ja varhaiskirkon lauluaarteita.
Tätä kirjaa käytettiin lähes sata vuotta, kunnes piispa Johannes Gezelius vanhemman toimesta saatiin uusi kokoelma valmiiksi 1690. Maskulaisen kirjassa oli 242 virttä tässä kirjassa 413. Ruotsin kuninkaan määräysten vuoksi kirjan painaminen siirtyi. Vasta 1701 kirja tuli painosta. Se olikin suomalaisen kirkkolaulun ja kristillisyyden pitkäaikaisin ja vaikuttavin opus. Virsien lisäksi siinä oli rukouskirja ja evankeliumikirja.
Vasta 1886 monien yritysten jälkeen ensimmäisen suomen kieleisen virsikirjan merkittävänä vaikuttajan työssä oli Elias Lönnrot.
Meidän nykyistä kirkkovirsikirjaamme edelsi niin sanottu Talvisodan virsikirja vuodelta 1939.