Начинал воспитание музыке как тромбонист, приблизительно с 1907 года играл в разных духовых и танцевальных оркестрах, а также участвовал в небольших негритянских группах в барах и кабаре Нового Орлеана. В 1918 он перебрался в Чикаго, где сквозь два года собрал свой зачинщик оркестр. В 1922 этот коллектив под названием «Креольский джазовый оркестр Кинга Оливера» (King Oliver’s Creole Jazz Band) начал ходить в зале Линкольн Гарденс. Вскоре к оркестру в качестве второго корнетиста присоединился тутто ещё никому не обще двадцатидвухлетний Луи Армстронг. С апреля 1923 Оливер и его оркестр стали записываться.
В 1925 году Креольский оркестр в немного изменённом составе успешно играл в Чикаго, но вскоре затем окончания контракта (1927) распался. Оливер на ближайшие три года остался в Нью-Йорке, где прошёл окончательный пение оркестра. В 1930―1936 он видимоневидимо гастролировал по США с различными небольшими оркестрами, но начиная с 1931 года больше не записывался. Последние годы жизни Оливер, отошедший от музыки, провёл в городе Саванна.
как многим джазовым корнетистам новоорлеанского периода, Оливер играл в мелодическом стиле особенно в квадратной ритмике (в противоположность ритмической свободе молодого Армстронга и его последователей). В игре Оливера встречались различные эффекты, заимствованные из блюзового вокала. Он неоднократно использовал сурдины разных форм, изменяя тембр своего инструмента.
Оливер выступал едва только со своим коллективом и хорошо справлялся с обязанностями лидера. счастье Креольского оркестра во многом обеспечила строгая дисциплина, которой Оливер требовал от музыкантов. Из всех корнетистов раннего новоорлеанского периода один Оливер делал записи, и восстановление этого стиля, начавшееся вскоре потом кончины музыканта, обязано именно ему.
