El 28 de agosto de 1821, el gobernador de la Provincia de Buenos Aires, Martín Rodríguez, y su ministro, Bernardino Rivadavia, dispusieron por decreto la creación del Archivo General de la Provincia de Buenos Aires, con sede en la Manzana de las Luces. Allí se reunieron todos los archivos públicos existentes en ese momento en la ciudad de Buenos Aires desde su fundación hasta esa fecha.
Tras la federalización de la ciudad de Buenos Aires en 1880, el organismo pasó a tener su nombre actual y su sede fue el edificio donde había funcionado el antiguo Congreso Nacional y hoy se ubica la AFIP. En 1950, las autoridades del Archivo mudaron el archivo a la sede actual de la avenida Alem 246.
La documentación que reúne el archivo abarca desde el periodo colonial hasta la actualidad. Incluso el fondo documental “Virreinato del Río de la Plata” ha sido reconocido por la UNESCO, en el marco del Programa “Memoria del Mundo”.