1940
W marcu Niemcy konfiskują kolekcję instrumentów Tomasza Panufnika. Po interwencji Andrzeja w siedzibie gestapo udaje się ją odzyskać.
Na początku tego roku Panufnik wraca do komponowania. Powstaje wówczas Pięć polskich pieśni wiejskich; ukończona zostaje też I Symfonia.
W październiku Panufnik rozpoczyna współpracę z Witoldem Lutosławskim, tworząc duet fortepianowy. Dwaj kompozytorzy grają w warszawskich kawiarniach artystycznych aranżacje muzyki klasycznej i jazzowej, a także od czasu do czasu swoje kompozycje.
Czasami dla żartu graliśmy jazz, zwłaszcza Duke'a Ellingtona i najlepszych Amerykanów, a nawet, co było niebezpieczne, muzykę zakazanych kompozytorów żydowskich, takich jak Gershwin. Niekiedy, aby uniknąć nudy, jako że graliśmy codziennie, wystawialiśmy się na całkiem inne ryzyko, improwizując własne utwory jazzowe. Przed rozpoczęciem rysowaliśmy diagram określający tempo i przebieg harmoniczny w określonej liczbie taktów. Posługując się takim świstkiem papieru, wymyślaliśmy melodię, kontrapunkty i formuły rytmiczne, ryzykując, że któregoś z nas poniesie nieokiełznana wyobraźnia, nigdy jednak nie ujawnialiśmy przed publicznością naszej tajemnicy - że improwizujemy, zamiast wykonywać skomponowane i starannie przygotowane utwory.
1941
Duet Panufnik–Lutosławski występuje w kawiarni „U Aktorek”.
Panufnik pracuje nad II Symfonią.
Poznaje Stanisławę Litewską, wdowę po pułkowniku kawalerii i zamieszkuje u niej.
Staszka była równie dobra jak piękna, bardzo kobieca, w niepojęty sposób zachowała pełną figurę, podczas gdy inni wychudli z głodu. Miała wyjątkowy talent kulinarny, potrafiła dokonywać cudów z nędznych ochłapów, jakie udawało się zdobyć. Wkrótce zamieszkałem z nią i jej dwiema córeczkami, pomagając w kłopotach pieniężnych przez pokrywanie części wydatków; korzystałem też z cichego pokoju z fortepianem. Trudno było w tak ciężkich czasach myśleć o przyszłym wspólnym życiu, gdy wydawało się, że przed nami nie ma w ogóle żadnej przyszłości, lecz dobrze nam było razem; byliśmy dla siebie ucieczką od czarnej rzeczywistości.
1942
Duet Panufnik–Lutosławski przenosi się do kawiarni "Sztuka i Moda", mieszczącej się przy ul. Królewskiej 11.
22 marca Panufnik z Lutosławskim występują w Lublinie.
Powstaje Uwertura tragiczna.
Na pisanie muzyki zostaje mi wskutek tego bardzo mało czasu, a ta część moich władz umysłowych, która zajmowała się dawniej pisaniem muzyki, zajmuje się teraz z największą pieczołowitością sprawami takimi, jak konieczność kupienia piecyka na zimę, opału, kartofli, zakiszenia kapusty, czyli rzeczami, o których wprawdzie dawniej wiedziałem, że skądsiś się biorą, ale nie zastanawiałem się skąd i wskutek tego "nie posiadam adresów" odpowiednich.
1943
W styczniu brat Andrzeja Panufnika – Mirosław, zaangażowany w działalność konspiracyjną, zostaje zatrzymany – na szczęście jednak szybko zwolniony. Jego żona umiera na gruźlicę w czerwcu tego roku.
Mirek dźwigał na swych barkach odpowiedzialność nie tylko za pracę w konspiracji. W 1943 roku jego żonie, Marii, odnowiła się gruźlica. Aby opłacić lekarzy, lekarstwa i wzmacniającą dietę, musieliśmy sprzedać mojego ukochanego bechsteina (poświęciliśmy fortepian, bo nikt nie chciał ojcowskich skrzypiec). Brakowało leków, a sanatorium w Tatrach, gdzie Maria podleczyła się poprzednio, zarekwirowali Niemcy do swego wyłącznego użytku. Jedyną nadzieją pozostawał szpital przeciwgruźliczy w Warszawie. Wynająłem dorożkę i pomogłem bratu wynieść Marię z mieszkania. Miała szarą twarz i kaszlała bez przerwy. Po trzech miesiącach zmarła w wieku dwudziestu czterech lat: mała Ewa miała wtedy lat sześć. Był to straszny cios dla mojego brata, lecz mimo iż może się to wydać dziwne, jego rozpacz umocniła go duchowo; stał się jeszcze bardziej fanatyczny i nieustraszony w walce o wolność i niepodległość Polski.
1944
Na zlecenie Tajnego Związku Muzyków Panufnik komponuje Pieśni walki podziemnej, m.in. Warszawskie dzieci.
19 marca – prawykonanie Uwertury tragicznej Panufnika na koncercie RGO (Rady Głównej Opiekuńczej) w Konserwatorium Warszawskim pod dyrekcją kompozytora.
25 maja – na kolejnym koncercie RGO zostaje wykonana II Symfonia.
3 lipca – Andrzej Panufnik wraz z matką wyjeżdża do Brwinowa.
1 sierpnia - wybuch Powstania Warszawskiego.
16 września - pod gruzami rodzinnego domu w Śródmieściu ginie brat Panufnika, Mirosław.
Po upadku Powstania Warszawskiego Panufnikowi udaje się wydostać ze zburzonej Warszawy kolekcję instrumentów ojca.
Przyjechaliśmy w ostatniej chwili - z okien wydostawały się już dym i płomienie. Szczęśliwie piwnica, znajdująca się po drugiej stronie domu, nie zaczęła się jeszcze palić. Pobiegłem tam. Żar był trudny do zniesienia. Posuwałem się po omacku, jak mogłem najszybciej, długim, ciemnym korytarzem, opierając się o gorące ściany, aby nie upaść. Ku memu zdumieniu gubernator Fischer wszedł za mną, do tego pieca. Wreszcie dotarliśmy do drzwi naszej piwnicy. W słabym świetle, wpadającym przez małe okienka umieszczone na poziomie chodnika, zobaczyłem instrumenty ojca, wszystkie czterdzieści sztuk starannie zapakowane w futerały, tak jak je zostawił.
1945
16 stycznia – Panufnikowie docierają do Zakopanego, po trwającej pięć dni podróży.
Na początku marca Andrzej Panufnik wyjeżdża do Krakowa, gdzie rozpoczyna współpracę z Wytwórnią Filmową Wojska Polskiego.
W maju Panufnik dociera do Warszawy - udaje mu się pochować brata na Powązkach i dowiaduje się, że jego rękopisy pozostawione w Warszawie uległy zniszczeniu.
7 lipca – umiera matka Panufnika - schorowana i załamana śmiercią starszego syna.
Panufnik rekonstruuje swoje kompozycje, których partytury uległy zniszczeniu w Warszawie: Trio fortepianowe, Pięć polskich pieśni wiejskich, Uwerturę tragiczną i I Symfonię (którą ostatecznie zniszczył po wykonaniu).
W listopadzie Panufnik zostaje drugim dyrygentem Filharmonii Krakowskiej.
Oczywiście nikt z nas nie dopuszczał jeszcze wtedy nawet myśli, aby Polską wracającą do życia mógł rządzić kto inny, jak normalna koalicja stronnictw – przecież na nic innego nie pozwolą zachodni alianci... Toteż naszych kontaktów z nowymi władzami nie braliśmy na początku tak całkiem na serio.
1946
3 maja Panufnik zostaje mianowany dyrektorem orkiestry Filharmonii Warszawskiej
W końcu maja kompozytor wyjeżdża na Zachód, skąd wróci na początku listopada. Dyryguje na koncertach w Londynie, na festiwalu MTMW, i w Paryżu, z L’Orchestre National, a także próbuje zdobyć materiały nutowe dla orkiestry Filharmonii Warszawskiej.
We wrześniu i w październiku Panufnik przebywa w Szwajcarii, gdzie prowadzi kilka koncertów i spotyka się z Konstantym Regameyem.
W grudniu ponownie wyjeżdża na Zachód, występując jako dyrygent w Tonhalle w Zurychu.
Po powrocie do Polski zostałem ostro zaatakowany przez Ministerstwo Kultury za popieranie faszystowskich kompozytorów mieszkających za granicą. Odpowiedziałem równie ostro, nie mogąc zgodzić się z absurdalną opinią, że każdy, kto zdecydował się mieszkać w kraju nie będącym socjalistycznym rajem, automatycznie staje się faszystą. Jak na razie przeciwnicy ulegli sile moich argumentów i zamilkli. Pełniłem teraz półoficjalną rolę reprezentacyjnego dyrygenta polskiego i Ministerstwo Kultury często wysyłało mnie za granicę. Te okresowe ucieczki od niedostatków życiowych i szarzyzny warszawskiego życia oraz muzykowanie z zagranicznymi orkiestrami nie były dla mnie, rzecz jasna, przykre.
1947
Panufnik występuje z koncertami w Londynie, Paryżu i Kopenhadze. Komponuje Krąg kwintowy na fortepian oraz Divertimento, Kołysankę i Nokturn na orkiestrę.
(...) przede wszystkim musiałem się upewnić, że w ogóle jestem w stanie komponować. Zacząłem na próbę improwizować na fortepianie, poszukując pomysłów harmonicznych, melodycznych i rytmicznych, stopniowo stawiając sobie dodatkowe zadania wzbogacenia możliwości czysto pianistycznych. Choć minęły już trzy lata od moich występów podczas wojny, palce miałem nadal sprawne i bez trudu mogłem bawić się sztuczkami technicznymi. Wkrótce też, ku mej satysfakcji, zaczęły mi przychodzić do głowy pomysły muzyczne, zarówno orkiestrowe jak i fortepianowe. Postanowiłem na jakiś czas pozostać przy fortepianie i skomponować cykl dwunastu etiud.
1948
W styczniu i lutym Panufnik odbywa podróż artystyczną do Niemiec, występując z Berlińskimi Filharmonikami.
W sierpniu Panufnik bierze udział w Kongresie Obrońców Pokoju we Wrocławiu.
W listopadzie zostaje wybrany na wiceprezesa Związku Kompozytorów Polskich.
Ministerstwo Kultury wytypowało mnie oraz kilku moich kolegów kompozytorów do władz Związku Kompozytorów Polskich. Przedstawiciel ministerstwa, nie zostawiając mi czasu do namysłu, wygłosił tyradę, której sens sprowadzał się do tego, że byłoby dla mnie korzystne, gdybym opuścił swoją wieżę z kości słoniowej. (Krytyczna etykietka często stosowana wobec twórców w Związku Radzieckim.) Zważywszy, ile usiłowałem zdziałać dla dobra muzyki polskiej, podczas gdy inni kompozytorzy ze zrozumiałych powodów zamykali się w domu, trudno mi było uznać ten zarzut za słuszny. Poza tym, wszelki nacisk był zbyteczny, ponieważ szczerze pragnąłem pracować dla Związku Kompozytorów.
1949
W kwietniu Panufnik otrzymuje I nagrodę na konkursie kompozytorskim, zorganizowanym z okazji Roku Chopinowskiego za Sinfonia rustica.
W sierpniu, podczas konferencji w Łagowie, Nokturn Panufnika zostaje poddany surowej krytyce, jako dzieło niepożądane dla szerokich mas.
Jak się obawiałem, zjazd w Łagowie mimo pozornie niezobowiązującej formy, definitywnie przypieczętował nową politykę: teraz wszelka muzyka musiała zawierać przesłanie polityczne. Był to ostatni gwóźdź do trumny idei muzyki dla muzyki.
3 października w Paryżu odbywa się prawykonanie zamówionego przez UNESCO utworu Hommage à Chopin, skomponowanego dla uczczenia setnej rocznicy śmierci Chopina.