Albéniz igazi csodagyerek volt: első zongorahangversenyét négyéves korában adta, hatéves korában már a párizsi Conservatoire hallgatója volt, ahol Antoine François Marmontel volt a zongoratanára, majd a madridi konzervatóriumban tanult tovább. Nyughatatlan, fékezhetetlen gyerek és ifjú volt, nem bírt sokáig egy helyen maradni. Az iskolákból rendre megszökött, és Spanyolországban utazgatva zongorahangversenyeket adott. Potyautasként elhajózott Dél-Amerikába, ahol folytatta a hajszás vándoréletet: Argentínában, Brazíliában, Uruguayban, Kubában és az Egyesült Államokban adott koncerteket. Csak 1873-ban tért vissza Spanyolországba, és még csak 13 éves volt! Némileg lenyugodva Párizsban tanult egy keveset, majd 1874-ben Lipcsében folytatta tanulmányait Jadassohn és Reinecke növendékeként. Később Brüsszelben Gevaert volt a tanára. 1878-ban példaképénél, Liszt Ferencnél tanult Budapesten. Az immár rendkívül sikeres zongorista folytatta koncertkörútjait Európában és Amerikában, ahol főleg Schubert, Chopin és Liszt műveit játszotta, de egyre többször előadta a saját darabjait is. Ekkoriban érlelődött meg benne a gondolat, hogy zeneszerző lesz.

1883-ban megnősült, letelepedett és elnyerte a spanyol udvari zongoraművész címet. Felipe Pedrell spanyol zeneszerző hatására egyre inkább érdekelni kezdte a spanyolországi népzene. Az első nagyszabású ilyen műve az 1886-ban komponált Suite española (Spanyol szvit) volt, amelynek nyolc tétele spanyol városokról és tartományokról szól. 1890-től három évet töltött Londonban, majd 1894-ben Párizsban a Schola Cantorum tanára lett, és megismerkedett több neves zenésszel, többek között Debussyvel, aki szintén komoly hatást gyakorolt művészetére. Ekkoriban írta Cantos de Espagña(Spanyolországi dalok) című nevezetes zongoradarabját. 1905 és 1909 között készült az Iberia szvit négy sorozata, amely Albéniz legmaradandóbb alkotása. Ekkor már komolyan beteg volt, depressziós rohamában meg akarta semmisíteni a művet. Csak Blanche Selva zongoraművésznő közbelépése mentette meg a sorozatot a pusztulástól, aki folyamatosan mutatta be részenként a darabot.

Hosszas betegség után a francia Pireneusokban, Cambo-les-Bains-ben hunyt el.