La Legión fue creada por Real Decreto de 28 de enero de 1920, siendo ministro de Guerra José Villalba, con el nombre de Tercio de Extranjeros, con el fin de hacer frente, como ya había hecho Francia, a la dureza de los combates en la guerra del Rif (Marruecos), para lo que no estaban preparadas las tropas de reemplazo.
Su primera base fue el Acuartelamiento García Aldave, de Ceuta, situado sobre un monte desde el que se controla todo el Estrecho de Gibraltar, y que el ejército español comenzó a ocupar en 1860. La primera expedición de caballeros legionarios ocupó el cuartel en 1920.
Su primer comandante fue el teniente coronel de infantería José Millán-Astray Terreros, que sería quien le daría a la nueva fuerza su peculiar estilo y mística. Esta unidad encuadraba a los españoles y extranjeros que voluntariamente se alistaban para luchar en Marruecos. No obstante, se considera como fecha de fundación la del alistamiento del primer legionario el 20 de septiembre de 1920.
Inicialmente el Tercio constaba de una Plana Mayor de Mando y Administrativa, y tres Banderas (Batallones) que disponían cada una de Plana Mayor, dos compañías de fusiles y otra de ametralladoras.
El entonces comandante Francisco Franco fue el jefe de la Primera Bandera y lugarteniente de Millán-Astray. Los siguientes jefes del Tercio fueron los tenientes coroneles Valenzuela, Francisco Franco (1923-1935) también como coronel y el coronel Millán Astray. El cuartel del Rey en Ceuta sería la primera ubicación de La Legión
