Trường được thành lập ngày 12 tháng 4 năm 1956 dưới thời Đệ Nhất Cộng hòa tọa lạc ở số 112 đường Nguyễn Du, Quận 1, Sài Gòn. Trong số những người sáng lập có nhạc sĩ Hùng Lân. Mục đích của Trường là giảng dạy những bộ môn âm nhạc truyền thống Việt Nam như trình tấu nhạc cụ dân tộc Việt Nam. Giáo trình cũng được bổ túc để bao gồm các bộ môn âm nhạc cổ điển Tây phương và nhạc pháp dưới sự vận động của giám đốc Nguyễn Phụng. Khi khai giảng lần đầu Trường có 150 sinh viên ghi danh dưới tên Trường Quốc gia Âm nhạc.
Năm 1960 trường mới chính thức đổi tên thành Trường Quốc gia Âm nhạc và Kịch nghệ sau khi mở thêm phân khoa kịch nghệ tăng cường thêm các bộ môn cải lương, hát bội, và thoại kịch.
Đến năm 1982, trường được đổi tên thành Nhạc viện Thành phố Hồ Chí Minh và mang tên này đến ngày nay.
Nhạc viện Thành phố Hồ Chí Minh đào tạo đội ngũ biểu diễn; đội ngũ giảng dạy, lý luận, quản lý và nghiên cứu khoa học âm nhạc; tham gia mọi hoạt động trong lĩnh vực nghệ thuật âm nhạc; góp phần xây dựng và phát triển Văn hóa - Nghệ thuật tại Thành phố Hồ Chí Minh, khu vực phía Nam và cả nước.
Với cơ cấu tổ chức gồm 7 khoa, 4 phòng chức năng và 4 tổ chức trực thuộc, Nhạc viện Thành phố Hồ Chí Minh đào tạo và bồi dưỡng cán bộ âm nhạc có trình độ Trung học, Cao đẳng, Đại học và Sau Đại học ở các hệ: chính quy, vừa học vừa làm, chuyên tu, chính quy xa trường; đào tạo cử nhân Sư phạm âm nhạc; đào tạo theo mô hình xã hội hóa (tùy vào nhu cầu và yêu cầu của học viên); thực hiện các hoạt động: sáng tác, biểu diễn, giao lưu quốc tế, nghiên cứu âm nhạc; khảo sát, nghiên cứu và viết các công trình khoa học, đặc biệt là âm nhạc truyền thống vùng Nam Bộ.
Nhạc viện Thành phố Hồ Chí Minh đã được Nhà nước tặng thưởng Huân chương Lao động hạng Nhất, Nhì, Ba; Huân chương Độc lập hạng Nhì, Ba; nhiều thế hệ giảng viên đã được Nhà nước phong tặng danh hiệu Nhà giáo Nhân dân, Nhà giáo Ưu tú, Nghệ sỹ Nhân dân, Nghệ sỹ Ưu tú; nhiều Giáo sư của Nhạc viện Thành phố Hồ Chí Minh được mời làm giám khảo cho các cuộc thi âm nhạc quốc tế trên thế giới; nhiều giảng viên, học sinh, sinh viên đoạt các giải thưởng cao trong và ngoài nước, qua đó đã tạo uy tín về chất lượng đào tạo nghệ thuật âm nhạc trong cả nước cũng như khu vực và thế giới.
