Avec le Thomas Jefferson Building et le John Adams Building, le James Madison Memorial Building vient compléter la trilogie des structures qui composent la Library of Congress. À elles trois, elles renferment plus de 20 millions de livres, 61 millions de manuscrits, 5 millions de cartes et d'atlas et 5 millions de partitions.