Играл на скрипке с семи лет, а в городском военном оркестре играл также на трубе и флейте-пикколо. Учился в Стокгольме, в 1885 г. дебютировал в составе оркестра Музыкального общества «Гармония» (будущего Бергенского филармонического оркестра). В этот же промежуток познакомился с Эдвардом Григом, на племяннице которого в дальнейшем женился. кроме Хальворсен проехал по Европе, некоторое дата находился в Санкт-Петербурге, где совершенствовал занятие скрипача под руководством Леопольда Ауэра, в 1889—1892 гг. преподавал в Хельсинки, где на него оказал обаяние молоденький Бузони. Вернувшись в Норвегию в 1893 г., он возглавил Бергенский филармонический оркестр и оркестр бергенского театра «Национальная сцена», а в 1899 г. перебрался в Кристианию (ныне Осло) и на протяжении 30 лет руководил оркестром Национального театра.
между композиций Хальворсена — три симфонии, из которых наиболее значительна Вторая, Fatum, ре минор (1924, вторая вид 1928), искусство к 30 спектаклям, в том числе шекспировским «Как вам это понравится» (1912), «Много шума из ничего» (1915) и «Макбету» (1920). Хальворсен страсть занимался обработками норвежского музыкального фольклора — с тех пор как по предложению Грига впервые записал в 1901 г. от народного музыканта Кнута Дале ряд мелодий; этот опыт нашёл изображение в цикле Хальворсена «Норвежские народные песни и танцы» (норв. Norske Vise og Danse) и других сочинениях. Пользуется известностью небольшая сочинение Хальворсена «Марш бояр» (норв. Bojarenes inntogsmarsj), написанная под впечатлением от знакомства с историей Румынии в того, как Хальворсен получил требование учить в Бухаресте. Хальворсен осуществил также ряд транскрипций и переложений — в частности, оркестровал Похоронный марш Грига (эта оркестровая разновидность была исполнена на похоронах самого Грига сообразно завещанию композитора). Наибольшей известностью пользуется по сей день сделанное Хальворсеном переложение для скрипки и альта знаменитой Пассакальи из Седьмой сюиты Генделя.
Сын Хальворсена, Стейн Григ Хальворсен (род. 1909) — обще норвежский величавый актёр.
