Grootvader Karl Palla was afkomstig uit Bohemen en trok als handelsreiziger en muzikant door Europa. In Nederland ontmoette hij daarbij een meisje dat hij in 1880 trouwde in Venlo, Maria Margaretha van den Akker. Bij de huwelijksakte werd per abuis de naam genoteerd als Karl Pala (met één “l”). Maar in het dagelijks leven noemde hij zich Palla zoals zijn naam werkelijk was. Het echtpaar bracht zes kinderen groot, twee daarvan werden later beroepsmuzikant. In 1901 trouwde de oudste zoon – Petrus Karel Pala – met Maria Aldegonde Hubertina Janssen waaruit Peter Karel Hubertus Pala in 1902 werd geboren, die later als Pierre Palla bekend zou worden. Zijn geboorteakte vermeld Peter Karel Hubertus Pala.
Grootvader Karl overleed op 41-jarige leeftijd in 1896. Grootmoeder Maria hertrouwde en kreeg nog een dochter die zich Bella Palla noemde. Zij was een "half-tante" van Pierre en slechts 3 jaar ouder dan Pierre.
Pierre’s ouders hadden in Venlo een café en vader was een enthousiaste amateur musicus die Pierre op 4-jarige leeftijd al z’n eerste pianolessen gaf. Al spoedig kon hij Pierre niet meer bijhouden. Vervolgens begon Pierre met pianolessen bij Jacques Penninx, in die tijd een bekende musicus in Venlo, die met zang- en pianolessen ook half-tante Bella onder zijn hoede had.
Pierre maakte snelle vorderingen. Maar zijn vader zat hem ook wel flink achter de broek. Op 7-jarige leeftijd begon Pierre ook met vioollessen en een jaar later ook nog met orgellessen. Zijn jeugd tekende zich dus vooral af met veel studeren.
Pierre was 12 jaar toen de wereldoorlog uitbrak, de eerste. Nederland deed er weliswaar niet aan mee, maar er werd veel gesmokkeld in het zuiden, vooral boter en veel gedronken in het café van zijn ouders. Zijn orgelleraar vond dat geen geschikte omgeving voor Pierre. Hij ging daarom naar de kostschool Sainte Marie in Huijbergen – Noord-Brabant. Toen hij 1 ½ jaar later thuis kwam waren zijn ouders naar Sittard verhuisd. Pierre vervolgde zijn lessen bij zijn oude leraren en begon zelf ook met pianolessen te geven in een naastliggend klooster. Hij gaf daar pianolessen en bespeelde het orgel. Dat laatste leverde bitter weinig op, het was ter ere Gods, maar met de pianolessen verdiende hij toch een centje. Ook speelde hij op markten (viool). En soms trad hij op met tante Bella die een goede stem had, Palla begeleidde haar dan op de piano. Op 17-jarige leeftijd behaalde Pierre in Utrecht in de Sint-Catharinakathedraal het organisten- en dirigentendiploma (cum laude) van de Rooms Katholieke Organisten en Directeuren Vereeniging. Palla kreeg het advies om verder te studeren bij Hubert Cuypers in Amsterdam, een vermaard organist, componist, pianist en koordirigent.