30 апреля 1944 года Совнарком СССР своим распоряжением обязал организовать в Алма-Ате консерваторию. В соответствие с этим распоряжением, 24 июля 1944 года Совет Народных Комиссаров Казахской ССР под председательством Н.Ундасынова постановил с 1 октября того же года на базе музыкально-хореографического комбината (ныне Алматинский музыкальный колледж им.П.И.Чайковского) организовать Государственный институт искусств, преобразованный впоследствии в Алма-Атинскую консерваторию по образцу Московской и Ленинградской консерваторий. В 1945 г. консерватории присвоено имя выдающегося казахского народного композитора ХIX века Курмангазы Сагырбаева.
В годы Великой отечественной войны (1941-1945 гг.) в Алма-Ату из Москвы были эвакуированы выдающиеся деятели русского искусства Г.С.Уланова, Ю.А.Завадский, Н.И.Сац, В.П.Марецкая и мн.другие. Их работа в Казахстане существенно повлияла на формирование феномена новой казахстанской культуры, которая за короткий срок сумела усвоить и адаптировать складывающиеся столетиями культурные традиции Европы через призму русской культуры, не утратив при этом национальной самобытности.
Здесь сложилась композиторская школа, представленная такими прославленными именами, как Ахмет Жубанов, Евгений Брусиловский, Мукан Тулебаев, Сыдык Мухамеджанов, Куддус Кужамьяров, Газиза Жубанова, Еркегали Рахмадиев.
Педагогами консерватории являются крупные концертирующие музыканты, творчество которых признано и востребовано не только в Казахстане. В их числе выдающаяся пианистка Жания Аубакирова, прославленный хормейстер Анатолий Молодов, легендарная певица Бибигуль Тулегенова, «золотая труба» Юрий Клушкин, виртуозный домбрист Каршыга Ахмедьяров, лауреат международных конкурсов скрипачка Гаухар Мурзабекова, современный композитор Еркегали Рахмадиев и многие другие.
С обретением независимости и суверенитета Казахстаном, консерватории был присвоен статус «казахского национального высшего учебного заведения». Так был обозначен качественно новый уровень задач по созданию конкурентноспособной казахстанской модели музыкального образования, а также отношение вуза к числу культурных и политических приоритетов государства.