D'un milieu pauvre, son père fut marin, avant de devenir chauffeur d'autobus. Sa mère venait d'une famille irlandaise du nom de French, et était catholique. Elle travaillait comme femme de ménage. Contrairement aux autres membres du groupe, George a grandi dans un foyer calme et aimant, qui n'a pas connu la tragédie.
George avait deux frères, Harold Jr. et Peter, et une soeur, Louise. Ils étaient à l'étroit, mais le jeune garçon ne semblait pas en souffrir outre mesure. Dans le contexte de la guerre mondiale qui déchirait le continent, George Harrison raconte ses premiers souvenirs de raids aériens et d'abris où les gens se réfugiaient. Il avait moins de deux ans.
Malgré une vie assez pauvre, George Harrison semble garder de bons souvenirs de sa jeunesse à Liverpool, une ville qu'il décrit comme dynamique, vivante. Sa mère l'emmenait souvent avec elle au cinéma.
George était un élève médiocre, mais à l'école Dovedale Primary, il appréciait l'occasion de faire beaucoup de sport. John Lennon fréquente le même établissement, mais les deux ne se connaissent pas encore.