Rankiem 14 lipca 1954 roku Andrzej Panufnik wylądował na lotnisku Heathrow w Londynie, rozpoczynając drugi, angielski etap swojego życia.
W Polsce wieść o jego ucieczce wywołała ogromną sensację. W opinii większej części społeczeństwa odebrana została jako „prztyczek” dla komunistycznych władz, w dodatku otrzymany w przededniu obchodów dziesięciolecia PRL-u. Oto bowiem do tej pory rozpieszczany przez komunistów, czołowy polski kompozytor i dyrygent, chluba Polski Ludowej, „wybrał wolność”, „zdradził” socjalistyczną ojczyznę i wyjechał, aby służyć kapitalistom. Taki czyn musiał zostać surowo napiętnowany. Muzykę i nazwisko kompozytora objęto zapisem cenzury na ponad dwadzieścia lat, zakazano wykonywania jego utworów i publikowania jakichkolwiek informacji o nim. Związek Kompozytorów Polskich w krótkiej notce prasowej poinformował o wykluczeniu Panufnika ze swego grona.
W Wielkiej Brytanii, po początkowej sensacji wywołanej przyjazdem Panufnika i jego wypowiedziami, rozpoczęła się normalna egzystencja człowieka i kompozytora w nowych warunkach. Uszczęśliwiony faktem, że nareszcie wolny od wszelkich nacisków może spokojnie powrócić do świata muzyki, zupełnie nie zatroszczył się o próbę wykorzystania swojej ucieczki i chwilowej popularności dla celów zawodowych. Jednak największym jego pragnieniem było skupić się na twórczości, a przede wszystkim dojść do stanu psychicznej równowagi. Zamierzał też możliwie szybko powrócić do międzynarodowego świata muzycznego. We wrześniu 1954 roku złożył akces do British Performing Right Society (odpowiednik polskiego ZAIKSU), a w listopadzie tego samego roku podpisał umowę z największym brytyjskim wydawnictwem muzycznym Boosey & Hawkes. Jako, że dotychczasowym właścicielem praw do jego nut było Polskie Wydawnictwo Muzyczne, nowy wydawca poprosił go o dokonanie drobnych przeróbek w dotychczasowych kompozycjach. Stąd różnice w wydaniach partytur Panufnika sprzed i po wyjeździe z Polski.
Wydawałoby się, że sprawy kompozytorskie Panufnika nareszcie potoczą się do przodu, tymczasem sytuacja kompozytora wcale nie wyglądała różowo. Środowisko muzyczne Wielkiej Brytanii zdawało się nie być tak przyjazne, jak się tego spodziewał. Wyglądało na to, że od nowa będzie musiał zdobywać uznanie, a w dodatku szybko odkrył, że lada chwila nie będą mieli ze Scarlett z czego żyć. Jako pierwszy pomocną dłoń wyciągnął Sir Stuart Wilson, dyrektor administracyjny Opery Królewskiej w Covent Garden. Nie tylko udzielił mu wsparcia finansowego, ale też skontaktował z jedną z największych brytyjskich agencji koncertowych – Harold Holt Ltd., która zajęła się organizacją pierwszego po przybyciu do Wielkiej Brytanii koncertu pod dyrekcją Panufnika. Koncert odbył się 4 października 1954 roku, z udziałem The Philharmonia Orchestra, a w programie obok utworów Beethovena i Rachmaninowa znalazł się też jego własny Nokturn (który zastąpił anonsowaną na plakatach Uwerturę bohaterską). Jednak, mimo znakomitego przyjęcia, w wyniku nieporozumienia, współpraca Panufnika z agencją została zerwana. Kilka dni później Panufnik po raz kolejny zaprezentował swe kompozytorskie i dyrygenckie umiejętności: w Royal Albert Hall odbył się koncert charytatywny pod jego dyrekcją, zorganizowany przez środowisko polonijne w Londynie. Obok kompozytora w koncercie wziął udział pianista Witold Małcużyński, a towarzyszyła im London Symphony Orchestra. Te dwa koncerty były pierwszym zetknięciem się Panufnika z angielską publicznością po decyzji osiedlenia się w tym kraju.
W grudniu 1954 Panufnik został zaproszony jako dyrygent do Belgii, a w lutym 1955 roku do Detroit, gdzie Leopold Stokowski zaplanował wykonanie Symfonii Pokoju. Stokowski znał już i cenił twórczość Panufnika, chciał też poznać kompozytora osobiście. Obaj panowie zapałali do siebie natychmiastową sympatią i pozostali przyjaciółmi do końca życia Stokowskiego, który pozostał też wielbicielem muzyki Panufnika.
Po powrocie ze Stanów Zjednoczonych kompozytor otrzymał zaproszenie do zaprezentowania Sinfonia rustica na festiwalu promenadowym radia BBC w lipcu 1955 roku. Wkrótce po tym wykonaniu dyrekcja radia BBC zamówiła u Panufnika kompozycję na zbliżające się dziesięciolecie Programu Trzeciego tejże rozgłośni. Efektem tego zamówienia jest krótki utwór symfoniczny, zatytułowany Rhapsody (Rapsodia). Niedługo potem radio BBC zwróciło się do Panufnika z kolejnym zamówieniem – tym razem chodziło o napisanie suity tańców polskich, którą można by połączyć w programie z repertuarem tańców pochodzących z Węgier i innych krajów Europy Wschodniej. Koncert taki miał zostać przedstawiony publiczności londyńskiej latem 1959 roku, podczas organizowanego przez BBC Festiwalu Muzyki Lekkiej. W ten sposób powstała suita Polonia, inspirowana utworem Elgara pod tym samym tytułem. Wykonanie tego utworu pod batutą Panufnika w sierpniu 1959 roku miało stać się zarazem ostatnim występem tego twórcy na festiwalu BBC Proms na okres następnych kilkunastu lat. W związku bowiem ze zmianą dyrekcji w radiu BBC pod koniec 1959 roku, zmieniła się też radykalnie jego polityka programowa. Zaczęto promować muzykę awangardową, będącą kontynuacją drugiej szkoły wiedeńskiej i w ten sposób twórczość Panufnika znalazła się na cenzurowanym nie tylko w Polsce (z powodów politycznych), ale także w Anglii (tym razem z przyczyn artystycznych). Kompozytor zwykł później o tej sytuacji mawiać z ironią, że stał się „zakazany w Polsce i BBC”.
Camilla Panufnik o muzyce awangardowej w Wielkiej Brytanii
Powrót kompozytora do pracy twórczej zbiegł się, niestety, z postępującym kryzysem jego małżeństwa. Scarlett Panufnik, przyzwyczajona do wysokiej pozycji towarzyskiej, jaką zapewniało jej małżeństwo z czołowym kompozytorem w Polsce, po przybyciu do Anglii wcale nie zamierzała rezygnować z atrakcji towarzyskich. Tym razem jednak kompozytor nie zamierzał ulegać żądaniom żony, tym bardziej, że chciał poświęcić cały swój czas komponowaniu. Sytuacji nie poprawiło wydanie książki Scarlett, opowiadającej o ich wspólnym życiu w komunistycznej Polsce (wydanej w 1956 roku), a rozpad małżeństwa przypieczętowała decyzja Panufnika o objęciu stanowiska dyrektora muzycznego City of Birmingham Symphony Orchestra i jego przeprowadzka do Birmingham we wrześniu 1957 roku. Małżeństwo ostatecznie zakończyło się rozwodem w 1958 roku.
Po wyjeździe do Birmingham Panufnik poświęcił się pracy w orkiestrze. Warunki jego kontraktu z zarządem CBSO przewidywały prowadzenie pięćdziesięciu koncertów rocznie, a ponadto konstruowanie programów wszystkich koncertów, włącznie z zapraszaniem gościnnych dyrygentów i solistów, o szeregu czynności administracyjnych nie wspominając. Panufnik pragnął jak najlepiej wywiązać się z powierzonego mu zadania. Zależało mu na podniesieniu poziomu gry orkiestry, zamierzał też przedstawiać melomanom ciekawe programy koncertów. Sporo miejsca poświęcał w nich muzyce dawnych kompozytorów angielskich, znanej mu z czasów pierwszego pobytu na Wyspach Brytyjskich w 1938 roku, m.in. Avisona, Byrda, Purcella i Boyce’a. Obok nich pojawiały się również kompozycje Vivaldiego i Bacha, zestawiane z muzyką klasyczną i romantyczną, a także utworami kompozytorów współczesnych. Świadomie nie włączył natomiast do żadnego z programów sezonu 1957/58 własnych kompozycji. Uczynił to dopiero na wyraźne żądanie zarządu orkiestry, będące wyrazem oczekiwań społeczności Birmingham, pragnącej zapoznać się z muzyką komponowaną przez dyrektora swej orkiestry. Miało to jednak miejsce dopiero w sezonie koncertowym 1958/59, w którym Panufnik przedstawił miejscowej publiczności cztery własne kompozycje: Sinfonia elegiaca, Uwerturę tragiczną, Sinfonia rustica oraz Pięć polskich pieśni wiejskich.
Po dwóch latach wytężonej pracy Panufnik zrezygnował z przedłużenia kontraktu w Birmingham, uznając że musi powrócić do komponowania. Dzięki przewodniczącemu zarządu CBSO jeszcze przed wyjazdem uzyskał zamówienie na ukończenie rozpoczętego jeszcze w 1957 roku Koncertu fortepianowego.
Po opuszczeniu Birmingham Panufnik powrócił do Londynu, pragnąc po raz kolejny skupić się wyłącznie na komponowaniu. Przez jakiś czas wydawało się, że jego życie – także prywatne - nabierze jaśniejszych barw, jako że jesienią 1959 roku poznał Winsome Ward, dzięki której po raz pierwszy, jak sam przyznał, doświadczył związku, który przyniósł mu równowagę i spokój ducha. Ciesząc się tą sytuacją, starał się zarazem powrócić do pracy twórczej. Jako, że nie czuł się jeszcze gotowy do ukończenia Koncertu fortepianowego, postanowił napisać kompozycję mniejszych rozmiarów, inspirowaną nastrojem panującej właśnie pięknej jesieni. W ten sposób zaczęła powstawać przeznaczona na orkiestrę bez skrzypiec Muzyka jesieni, jeden z najpiękniejszych utworów Panufnika, a jednocześnie jeden z nielicznych, które nie powstały na zamówienie. Niestety, wkrótce okazało się, że Winsome ma zaawansowanego raka i niewiele pozostało jej życia. W tych okolicznościach Muzyka jesieni nabrała zupełnie nowego wyrazu, stając się hołdem dla umierającej przyjaciółki, utworem o charakterze żałobnego trenu, wyrażającego przeczucie nieuchronności ludzkiego przeznaczenia.
Camilla Panufnik o trudnych pierwszych latach życia kompozytora w Wielkiej Brytanii