História The Unicorns je spätá s malým prímorským mestečkom na exotickom ostrove pri západnom pobreží Kanady, kde trávili svoje nudné životy zakladajúci členovia – Nicholas „Niel“ Diamonds a Alden Ginger. Diamonds ušiel z domu už v mladom veku a usadil sa v Montreale. Tam sa spoznal s mladistvým podvodníkom, ktorý si hovoril J’aime Tambeur. Tak sa začalo veľké priateľstvo. Ginger bol vo februári 2003 zranený pri súboji s nožom (vyviazol so škaredo doráňanou rukou) a zároveň bol vykázaný z rodičovského domu. Vyzbrojený len svojim verným 6-strunným nástrojom a rezervnou bielizňou, nasadol do autobusu a zamieril si to tiež do Montrealu. Chvíľku sa ešte zdržal v Regine, v provincii Saskatchewan, kde ho polícia zatkla kvôli krádeži a vydávaniu sa za člena policajného zboru. Keď Ginger konečne dorazil do Montrealu, Diamonds a Tambeur už mali na konte zopár domácich nahrávok a na stole ponuku od podivného, ezoterického japonského labelu. Trojica sa dala dohromady, aby vycibrila starý materiál a venovala sa taktiež skladaniu nových piesní. Po niekoľkých plodných mesiacoch ich skupina postarších rómskych rockových muzikantov pozvala na premiérové kanadské turné. V októbri 2003, po viacerých zatknutiach (prechovávanie drog, krádež auta) sa trojčlenný gang vracia do svojho druhého domova, Montrealu, a začína prípravy na nahrávanie debutového albumu.
Píše sa dátum 22.11.2004, vychádza debut „Who Will Cut Our Hair When We’re Gone?“ a hoci sa už o slovo hlási neúprosná zima, Jednorožci smerujú ku slnku...

Tracklisting:

1. I Don't Wanna Die
2. Tuff Ghost
3. Ghost Mountain
4. Sea Ghost
5. Jellybones
6. Clap
7. Child Star
8. Let's Get Known
9. I Was Born (A Unicorn)
10. Tuff Luff
11. Inoculate the Innocuous
12. Os
13. Ready to Die