Cagar budaya itu dibangun seluas kurang lebih 8 hektar dan diresmikan pada 10 November 1968 oleh Gubernur DKI Jakarta ke-7, Ali Sadikin. Awalnya lahan ini ialah ruang rekreasi umum Taman Raden Saleh, serta kebun binatang Jakarta (sekarang Ragunan).
Nama Ismail Marzuki dipilih sebagai penghargaan terhadap seniman asal Betawi yang telah berjasa menciptakan lebih dari 200 lagu, seperti Halo-Halo Bandung dan Berkibarlah Benderaku.
Mulanya, Gubernur Ali Sadikin sedang mencari tempat pengganti ruang ekspresi bagi para seniman dikarenakan area Pasar Senen dan Balai Budaya Jakarta tak dapat lagi digunakan akibat perpecahan ideologi politik.
Rancangan pembentukan TIM pun diketik oleh Arifin C Noer, dan diserahkan oleh Christianto Wibisono kepada Bang Ali.
Ali Sadikin menyetujui gagasan bahwa Pemprov DKI akan menyediakan sarana, dana, dan fasilitas penunjang operasional TIM. Sedangkan, pengelolaan diserahkan kepada seniman dan budayawan.
Dikutip dari dinaskebudayaan.jakarta.go.id, beliau turut membentuk Badan Pembina Kebudayaan yang menjadi cikal bakal Dewan Kesenian Jakarta, dan diketuai oleh Trisno Soemardjo.
Dahulu TIM hanya memiliki dua gedung teater, satu teater terbuka, area pameran, serta gedung Planetarium yang sudah lebih awal dibangun. Gedung-gedung tersebut (dua gedung bioskop, Garden Hall, dan Podium) merupakan peninggalan Taman Raden Saleh yang dulunya sering dimanfaatkan warga untuk menonton film di malam hari.
Kini terdapat lebih banyak fasilitas yang bisa digunakan: tiga gedung teater (Graha Bakti Budaya, Teater Besar, Teater Kecil), dua galeri seni (Galeri Cipta II dan Galeri Cipta III), dua plaza (Plaza Pancasila dan Plaza Teater Kecil), serta sebuah taman parkir. Adapula fasilitas penunjang lainnya mencakup perpustakaan daerah, pusat dokumentasi H.B Jassin, deretan kedai makanan nusantara, kineforum, toko buku Jose Rizal, dan Masjid Amir Hamzah.
Sejak berdirinya di tahun 1968, TIM menjadi saksi terjadinya eksperimentasi artistik para seniman Indonesia yang waktu itu banyak difasilitasi oleh Dewan Kesenian Jakarta (DKJ). Selain itu, TIM juga menjadi panggung bagi seniman dunia.
