1921년 3월 11일 부에노스아이레스주(州) 마르델플라타에서 이발사 아버지와 재봉사 어머니 사이에서 태어났다.
1925년 가족과 함께 미국 뉴욕으로 이주해 열 살 때 아버지가 사다 준 반도네온을 연주하면서 음악과 인연을 맺었다.
이후 각종 라디오 연주회에 출연해 반도네온으로 고전음악을 연주하였고, 1933년에는 헝가리 피아니스트 월다(Bela Wilda)에게 피아노를 배웠다.
같은 해 우연히 탱고가수이자 작곡가인 가르델(Carlos Gardel)의 눈에 띄어 그가 만든 영화에 신문팔이 역으로 출연해 직접 연주를 하기도 하였다.
1937년 전운이 감돌던 미국을 떠나 아르헨티나로 돌아온 뒤, 반도네온 연주자로 활동하면서 유명한 음악가들에게 두루 가르침을 받았다.
1955년 부에노스아이레스로 가서 밴드를 결성하고 작곡과 연주에 힘쓰던 중 전통적인 탱고음악에 식상해 새로운 돌파구를 찾기 위해 1958년 뉴욕으로 건너갔다.
그러나 여기서도 주목을 받지 못하고, 1960년 다시 부에노스아이레스에서 5중주단(Quinteto Nuevo Tango)을 결성하였다. 이 때부터 피아졸라는 자신의 탱고를 새로운 탱고, 즉 누에보 탱고로 부르며 기존의 탱고와는 다른 독창적인 아르헨티나 탱고의 시대를 열었다.
1974년 유럽으로 건너가 10년간 파리·암스테르담·빈은 물론, 뉴욕·도쿄 등 세계 각국을 오가며 자신의 음악을 널리 알렸다. 이 시기는 유럽에서 탱고가 다시 주목을 받기 시작하던 때로 피아졸라의 새로운 탱고 역시 클래식 음악계의 관심을 모았다. 특히 1992년 크로노스 4중주단이 발표한 피아졸라의 작품집 《다섯 개의 탱고 센세이션 Five Tango Sensation》은 세계적인 반향을 불러 일으키며 피아졸라를 '탱고의 황제'로 끌어올렸다.
탱고에 새로운 활력을 불어 넣은 작곡가이자 반도네온 연주의 거장으로, 일명 '탱고의 전설'로 통한다.
1990년 파리에서 뇌출혈로 쓰러진 뒤, 1992년 7월 5일 부에노스아이레스에서 죽었다.