El 26 de Desembre de 1936, korespondyente a la data djudia 12 de Tevet, la Orkestra de Palestina, fundada por el violinisto djudio polako Bronislaw Huberman, selebro su primer konserto en Tel Aviv. Akel tyempo, los muzisyenes djudios estavan arrondjados de las orkestras i fuyendo de la Evropa devido al antisemitizmo engrandesiyente. Entre 1938 i 1945, la Orkestra de Palestina fue dirijido por Leo Kestenberg, un Djudio Alman ke ya no podiya mas lavorar en su pais de orijin, la Almanya. Malgrado ke el primer konsiyerto fue dirijido por Arturo Toscanini, el famozo direktor de la Orkestra Sinfonika de la NBC, William Steinberg fue el primer direktor prensipal de la orkestra. Este primer konserto fue bazado sovre la muzika del kompozitor aleman Richard Wagner, una praktika ke eskapo despues de la Kristallnacht i se izo una politika de fakto.
Durante la Segunda Gerra Mundial, la Orkestra Palestina salyo a la shena 140 vezes enfrente de las trupas aliadas, i afilu dyo un konsiyerto a la Brigada Djudia de la armada britanika en El Alamein, Ejipto.
Después ke Israel deklaro su independensiya, la orkestra fue yamada la Orkestra Filarmonika de Israel (IPO).
Despues de Toscanini, la OPI fue asosyada kon otros grandes direktores i muzisyenes. Desde 1947 asta 1988, el aklamado kompositor Leonard Bernstein mostro su talento kon la OPI. En 1988, la OPI nombro a Bernstein, Laureate Konductor, titulo que mantuvo asta su muerte dos anyos despues.
El famozo direktor Zubin Mehta, fue nomado Konsultador Muzikal de la OPI en 1969, estando komo direktor envitado desde 1961. En 1977, Mehta fue nomado Direktor Muzikal i en 1981, se le dyo el titulo de "Direktor Muzikal por vida". Aunke el no era Djudio, Mehta estuvo asosyado kon la OPI durante sinko dekadas, avyendo dirijado miles de konsertos en Israel i afuera de Israel durante su mandato. Torno a Israel durante la Gerra de los Sesh Dias de 1967, para realizar varios konsertos para amostrar su solidaridad kon el puevlo israelí. En 1982, yevo la OPI al sud del Libano, ande los arabos ke asistyeron, koryeron a la shena despues del konserto para abrasar i felisitar a los muzisyenes. Durante la Gerra del Golfo de 1991, kon la menasa de los misiles Scud irakyanos ke bolavan i kayiyan en el sentro de Israel, Mehta dirijo la OPI kon una odiensiya ke tenia maskas de gas a los lados.
Desde Octobre de 2013, el pianisto i direktor israelí Lahav Shani (nasido en 1989) fue nomado komo direktor envitado. En Enero de 2018, fue nomado Direktor Muzikal de la IPO.