Andrzej Panufnik urodził się 24 września 1914 roku w Warszawie. Był synem Tomasza Panufnika i Matyldy Thonnes. Matka była utalentowaną skrzypaczką, ojciec kompozytora, z zawodu mierniczy, większą część życia poświęcił lutnictwu. Dzięki pasjom rodziców, obaj ich synowie - Andrzej i starszy od niego pięć o lat Mirosław - od dziecka mieli kontakt z muzyką. Atmosfera domu wywarła ogromny wpływ na muzyczne zainteresowania Andrzeja, a dogłębna znajomość instrumentów smyczkowych uwidoczniła się później w specjalnym traktowaniu tej grupy w jego utworach orkiestrowych. Mały Andrzej często chował się pod fortepianem i przysłuchiwał grze matki:

W dzieciństwie nigdy świadomie nie słuchałem matczynego grania, ale rozbrzmiewało ono ciągle w moich uszach, stanowiło tło muzyczne, było częścią mego życia. Znałem na pamięć koncerty Beethovena, Mozarta i Brahmsa, jak również Bacha i współczesną muzykę polską takich kompozytorów, jak Wieniawski i Karłowicz. Muzyka była w moim życiu czymś tak naturalnym jak czyszczenie zębów, jedzenie posiłków, a nawet oddychanie.

Muzyczne zamiłowania chłopca jako pierwsza odkryła babka, Henryka Thonnes, ona też została jego pierwszą nauczycielką gry na fortepianie. Mały Andrzej szybko rozpoczął również próby notowania własnych pomysłów muzycznych, mając dziewięć lat zapisał pierwszy utwór, szumnie nazwany Sonatiną. W wieku jedenastu lat, będąc już uczniem gimnazjum, rozpoczął naukę w klasie fortepianu Wiktora Chrapowickiego w Konserwatorium Warszawskim, jednak, po roku nauki, paraliżujący atak tremy sprawił, że nie zaliczył egzaminu końcowego i został skreślony z listy uczniów. Załamany tym faktem przyszły kompozytor na kilka lat zarzucił edukację muzyczną, koncentrując się na ukończeniu gimnazjum. Próbował nawet swych sił w technikum inżynierskim, gdzie zaczął przygotowywać się do zawodu mechanika lotniczego, jako że lotnictwo było w tym czasie jego drugą, obok muzyki, pasją. Wtedy jednak ostatecznie zrozumiał, że jego powołaniem jest muzyka:

(...) zdałem sobie sprawę, ile czasu musiałbym poświęcić na wyczerpującą naukę, by móc zaprojektować choćby najprostszą część samolotu. Rzeczywistość stłumiła resztki nadziei. Byłem przepracowany, zniechęcony i ogarnęło mnie straszliwe przygnębienie. Chodziło nie tylko o świadomość, że wybór szkoły inżynierskiej był błędem, ale i o to, że poczułem uczuciową i umysłową próżnię. Walcząc z uczuciem pustki, zrozumiałem jasno swoją sytuację. Straciłem kontakt z muzyką, a bez muzyki byłem zgubiony. Przeżyłem wstrząs, kiedy zdałem sobie sprawę, że nadal marzę o tym, aby w przyszłości komponować, choć w tym momencie wydawało to się tak nierealne, że trudno mi było przyznać się do tych marzeń.

Przekonał zatem najpierw matkę, a później także ojca, aby pozwolili mu raz jeszcze spróbować swych sił w Konserwatorium Muzycznym. Okazało się jednak, że szesnastoletni już Andrzej Panufnik jest za stary na to, aby rozpocząć edukację w klasie fortepianu, nie mógł również zostać przyjęty do klasy teorii i kompozycji, gdyż jego wiedza muzyczna była niewystarczająca. W tej sytuacji postanowił samodzielnie, w miarę własnych możliwości, nadrobić zaległości. Wiedzę teoretyczną pogłębiał, czytając książki z dziedziny historii i teorii muzyki, pilnie też ćwiczył na fortepianie. W trakcie gry często zniekształcał oryginalne utwory, a także chętnie improwizował. Podczas swobodnego improwizowania przechodził z obszarów muzyki klasycznej w dziedzinę jazzu, który zdążył już poznać i polubić. Zaczął nawet komponować krótkie kompozycje jazzowe, inspirowane twórczością Duke’a Ellingtona i George'a Gershwina. Jedną z takich melodii matka Panufnika pokazała właścicielowi sklepu muzycznego, w którym zwykle kupowała nuty. On z kolei zainteresował nią poetę, Mariana Hemara. Ten zaś nie tylko napisał do melodii słowa, ale gotowy utwór włączył do programu przygotowywanej przez siebie rewii, z udziałem jednego z najpopularniejszych ówczesnych aktorów, Adolfa Dymszy. W ten sposób powstała piosenka Ach, pardon, która stała się w krótkim czasie popularnym rewiowym szlagierem, utrwalonym nawet na płycie. Jej premierowego wykonania kompozytor nie słyszał, gdyż jako niepełnoletni nie został wpuszczony do lokalu. Był to pierwszy sukces kompozytorski Andrzeja Panufnika.

Adolf Dymsza śpiewa Ach, pardon

Dla niego jednak wciąż najważniejsza była chęć komponowania muzyki poważnej. W tym celu musiał wreszcie rozpocząć poważną edukację. Aby pomóc synowi, matka Andrzeja poprosiła o radę rektora Konserwatorium Warszawskiego, Eugeniusza Morawskiego. Zaproponował on, żeby Andrzej starał się o przyjęcie do klasy perkusji. Egzamin kwalifikujący nie był trudny i Panufnik mógł zdać go bez trudu, a i wiek kandydata nie był tutaj przeszkodą. Po przyjęciu do Konserwatorium, Andrzej mógłby uczęszczać równocześnie na zajęcia z teorii i historii muzyki, i po jakimś czasie przenieść się do upragnionej klasy kompozycji. Siedemnastoletni Andrzej Panufnik z chęcią przystał na ten plan i po pozytywnym przejściu egzaminu wstępnego, w lutym 1932 roku został ponownie studentem Konserwatorium Muzycznego w Warszawie.