Po ataku Hitlera na Polskę, Andrzej Panufnik włączył się w działania wojenne w najbliższej okolicy swego rodzinnego domu, przy ul. Ks. Skorupki 14 w Śródmieściu, gdzie jako ochotnik przydzielony został do obrony przeciwlotniczej. Wspominał później, że w pierwszych dniach wojny nastrój w Warszawie był raczej optymistyczny, wręcz bohaterski. Pod wpływem atmosfery tych dni kompozytor zaczął szkicować nowy utwór symfoniczny – Uwerturę bohaterską. Wkrótce jednak sytuacja uległa zmianie, Polska poniosła klęskę, podpisano akt kapitulacji i nie mogło być już mowy o komponowaniu utworu o tak radosnym charakterze. Panufnik zarzucił więc pracę nad Uwerturą, aby powrócić do niej za kilkanaście lat, w zupełnie innych okolicznościach.

Nadszedł czas okupacji hitlerowskiej i sytuacja zmusiła mieszkańców Warszawy do skupienia się na zaspokajaniu podstawowych potrzeb. Zdobycie żywności wymagało wielu wysiłków, Panufnikowie ratowali się, sprzedając kilka instrumentów z bogatych zbiorów ojca. W marcu 1940 roku Niemcy zarekwirowali całą kolekcję instrumentów Tomasza Panufnika, na szczęście wkrótce większą jej część udało się odzyskać po ryzykownej interwencji Andrzeja u niemieckich władz. Pomimo ciężkiej sytuacji materialnej, Panufnikowie mieli powody do zadowolenia: na razie nikt z rodziny nie ucierpiał, wszyscy byli cali i zdrowi.

W pierwszych miesiącach 1940 roku Panufnik powrócił do pracy twórczej. Paradoksalnie sprzyjała temu niebezpieczna sytuacja na ulicach Warszawy, gdzie w każdej chwili groziła łapanka. Większość czasu kompozytor spędzał zatem w domu, a praca twórcza pozwalała mu oderwać się od trudnej rzeczywistości. Szukając inspiracji, natrafił w domowej bibliotece na zbiór polskich melodii ludowych. Oczarowany ich prostotą i pięknem, w krótkim czasie skomponował Pięć polskich pieśni wiejskich. W ciągu następnych miesięcy kontynuował też pracę nad I Symfonią, rozpoczętą podczas pobytu w Paryżu, a w 1941 roku skomponował kolejną, II Symfonię. W międzyczasie wyprowadził się z rodzinnego domu. Przez jakiś czas mieszkał w domu pisarza, Stanisława Dygata, później związał się z wdową po pułkowniku kawalerii, Staszką Litewską, i zamieszkał u niej.

W latach wojny Panufnik zaprzyjaźnił się też z Witoldem Lutosławskim, z którym stworzył duet fortepianowy, koncertujący w warszawskich kawiarniach artystycznych. Głównym powodem podjęcia przez kompozytorów tej działalności była prozaiczna potrzeba zarobienia pieniędzy. Wobec zlikwidowania przez okupanta niemieckiego wszelkiej legalnej działalności kulturalnej, właściwie jedyną możliwością uprawiania zawodu były występy w kawiarniach. Duet fortepianowy Lutosławski-Panufnik występował niemal codziennie, a ich repertuar obejmował transkrypcje utworów klasycznych – od Bacha po Brahmsa, utwory Debussy’ego i Ravela, Strawińskiego i Szymanowskiego (mimo zakazu władz wykonywali własną wersję baletu Harnasie), a także specjalnie skomponowane przez Lutosławskiego Wariacje na temat Paganiniego na dwa fortepiany. Panufnik wspominał, że niekiedy wykraczali poza teren muzyki poważnej:

Czasami dla żartu graliśmy jazz, zwłaszcza Duke’a Ellingtona i najlepszych Amerykanów, a nawet, co było niebezpieczne, muzykę zakazanych kompozytorów żydowskich, takich jak Gershwin. Niekiedy, aby uniknąć nudy, jako że graliśmy codziennie, wystawialiśmy się na całkiem inne ryzyko, improwizując własne utwory jazzowe. Przed rozpoczęciem rysowaliśmy diagram określający tempo i przebieg harmoniczny w określonej liczbie taktów. Posługując się takim świstkiem papieru wymyślaliśmy melodię, kontrapunkty i formuły rytmiczne, ryzykując, że któregoś z nas poniesie nieokiełznana wyobraźnia, nigdy jednak nie ujawnialiśmy przed publicznością naszej tajemnicy – że improwizujemy, zamiast wykonywać skomponowane i starannie przygotowane utwory.

Praca w kawiarni dawała nie tylko pieniądze, ale też niepewne poczucie bezpieczeństwa, jako że będąc zatrudnionym w charakterze muzyka, można było otrzymać oficjalne niemieckie zezwolenie na pracę, tzw. kennkartę, która ułatwiała poruszanie się po mieście i w razie łapanki mogła uratować życie, chroniąc przed aresztowaniem.

W 1942 roku pojawiła się w Warszawie możliwość organizowania oficjalnych koncertów symfonicznych, tolerowanych przez władze niemieckie – organizatorem była tzw. Rada Główna Opiekuńcza, zalegalizowana przez okupanta organizacja charytatywna. Organizatorzy dysponowali 80-osobową orkiestrą symfoniczną, z którą do zakończenia działalności (czyli do wybuchu Powstania Warszawskiego) wystąpiło wielu wybitnych polskich solistów i dyrygentów, m.in. Andrzej Panufnik. Dzięki koncertom RGO niektóre z pisanych w czasie wojny utworów doczekały się prawykonania, wśród nich dwa świeżo ukończone symfoniczne dzieła Panufnika: Uwertura tragiczna i II Symfonia. Premiery tych utworów – w marcu i maju 1944 roku, pod dyrekcją kompozytora, nie tylko wywarły duże wrażenie na publiczności zgromadzonej na wojennych koncertach, ale były też potwierdzeniem talentu młodego twórcy. Prawykonanie Uwertury stało się dodatkowo okazją do ostatniego, jak się później okazało, spotkania kompozytora z bratem, Mirkiem, który kilka miesięcy później, 16 września 1944 roku zginął od wybuchu bomby w rodzinnym domu.

W ramach pracy dla polskiego podziemia, Panufnik skomponował też kilka patriotycznych piosenek, wśród których największą popularność zdobyły Warszawskie dzieci do słów Stanisława Ryszarda Dobrowolskiego.

Czas Powstania Warszawskiego Andrzej Panufnik spędził pod Warszawą, opiekując się chorą matką. Wyjechał z nią na początku lipca 1944 roku, myśląc, że najdalej za miesiąc będzie z powrotem w stolicy. Tymczasem wybuchły walki i powrót do Warszawy stał się niemożliwy. Po upadku Powstania Panufnikowie, dzieląc los tysięcy Warszawiaków, wypędzonych z rodzinnego miasta, postanowili udać się na południe Polski. W styczniu 1945 roku dotarli do Zakopanego, ale już w pierwszych dniach marca kompozytor udał się do Krakowa, aby rozeznać się w sytuacji w tym mieście. Otrzymał tam propozycję współpracy z Wytwórnią Filmową Wojska Polskiego w charakterze kompozytora muzyki do filmów dokumentalnych, zdecydował się przyjąć tę posadę i przenieść do Krakowa.

Zanim jednak rozpoczął nowe życie, na początku maja 1945 pojechał do Warszawy, aby odnaleźć swe rękopisy i przenieść ciało brata do rodzinnego grobowca na Powązkach. Przed ruinami rodzinnego domu odnalazł prowizoryczny grób Mirka, z pomocą innych osób odkopał ciało i złożywszy w drewnianej trumnie, przewiózł na Powązki. Następnie udał się do mieszkania Staszki, w którym zostawił swoje rękopisy. Na miejscu dowiedział się od znajdującej się tam obcej kobiety, że wszystkie papiery, jakie były w mieszkaniu – w tym jego kompozycje – wyrzuciła ona na śmietnik:

Zbiegłem po schodach, przeskakując po dwa stopnie i rzuciłem się na stertę cuchnących śmieci. Zacząłem rozrzucać na wszystkie strony puste puszki, gnijące resztki jedzenia, spalone zasłony, potłuczone szkło i sczerniałe kawałki metalu. Pokrwawionymi rękoma sprawdzałem każdy skrawek papieru, lecz stopniowo nadzieja przemieniała się w rozpacz, gdy zacząłem natrafiać na kupki zwęglonego papieru ze śladami ćwierćnut i półnut, czarnymi nutami na czarnym tle, prawie niewidocznymi. Ktoś z mojej dwudziestoletniej pracy zrobił sobie wspaniałe ognisko. Moje rękopisy przepadły na zawsze jako ofiary powstania warszawskiego, bo przecież nie miało najmniejszego znaczenia, że spłonęły nie od hitlerowskich bomb, lecz – jak na ironię – zostały unicestwione rękami moich ciemnych i obojętnych na wszystko rodaków. Poczułem się zdruzgotany i rozbity niczym warszawskie domy wokół mnie. (...)

W tej sytuacji, podobnie jak inni kompozytorzy, którym wojna pochłonęła – częściowo lub w całości – dotychczasowy dorobek twórczy, musiał rozpoczynać wszystko od nowa.