Patricio nació el 18 de julio de 1935 en Beas de Segura (Jaén), un pueblo dedicado al cultivo del olivo, situado en un pequeño valle. Era el año del baile de la "carioca", el año en el que sale a la venta el Monopoli y el autogiro comienza su andadura.


Sus padres fueron Francisco Alba Padilla y Elena Millán Mi, ambos procedentes de Cañada Catena, a pocos kilómetros de Beas de Segura.
Su padre se dedicaba a la construcción, como mucha gente de aquella época, y su madre a las tareas del hogar y al cuidado de sus hijos. Fue el quinto de nueve hijos, tenía seis hermanas: Antonia, Juana, Francisca, Luisa, Mª Carmen, Elena, y dos hermanos: Luis y Ramón.