La galerie a été fondée en 1966 par Daniel Templon, qui n'avait alors que 21 ans. Elle a d'abord ouvert rue Bonaparte, à Saint-Germain-des-Prés à Paris, avant de déménager en 1972 à son emplacement actuel, rue Beaubourg, dans le Marais, à proximité du Centre Pompidou, qui a ouvert en 1977. Daniel Templon s'est d'abord fait connaître en exposant des artistes conceptuels et minimaux tels que Martin Barré, Christian Boltanski, Donald Judd, Joseph Kosuth, Richard Serra. Dans les années 70 et 80, Daniel Templon a été l'un des pionniers de l'art contemporain et a fait découvrir au public français de nombreux artistes américains importants : Dan Flavin, Ellsworth Kelly, Willem de Kooning, Frank Stella, Andy Warhol. La galerie devient rapidement l'une des références de l'art contemporain en France. En 1972, Daniel Templon et Catherine Millet cofondent le mensuel d'art ART PRESS.

Au fil des années, de nombreux artistes entrés dans l'histoire de l'art ont exposé à la galerie. Par ordre chronologique : Martin Barré, Christian Boltanski, Joseph Kosuth, Ben, Arman, César, Carl Andre, Dan Flavin, Sol LeWitt, Donald Judd, Ellsworth Kelly, Kenneth Noland, Robert Morris, Jules Olitski, Frank Stella, Olivier Mosset, Art & Language, Richard Serra, Roy Lichtenstein, Andy Warhol, Karel Appel, Willem de Kooning, Helmut Newton, Francesco Clemente, Jörg Immendorff, Julian Schnabel, Lawrence Weiner, Daniel Buren, Jean-Michel Basquiat, David Salle, Robert Mapplethorpe, Robert Rauschenberg, Joel Shapiro, Keith Haring, Peter Halley, James Rosenquist, Robert Longo, Paul Rebeyrolle, Georg Baselitz, Raymond Hains, Eric Fischl, Juan Uslé, Jaume Plensa, George Condo, Ross Bleckner, les frères Chapman, Jim Dine, Richard Long, William Eggleston, Hiroshi Sugimoto, Yayoi Kusama, Richard Deacon, Larry Bell, Guillermo Kuitca, Anthony Caro, Pierre et Gilles.

Aujourd'hui, la Galerie TEMPLON représente un groupe d'artistes internationaux. Le programme favorise le dialogue entre les générations : les artistes établis, les artistes internationaux en milieu de carrière et les expériences des jeunes artistes. La galerie fournit également une expertise en matière de commissariat et une assistance pour le montage d'expositions de ses artistes dans des musées ou des expositions internationales. Plusieurs de ses artistes ont participé à des expositions internationales telles que la Biennale de Venise, Documenta, la Biennale de Whitney, etc.
La Galerie TEMPLON s'implique dans la production de ses artistes et s'engage dans une politique éditoriale forte avec la publication de catalogues d'exposition. Elle dispose de trois espaces : deux espaces d'exposition à Paris (30 rue Beaubourg et 28 rue du Grenier Saint-Lazare), un à Bruxelles en Belgique et un à New York (Chelsea). La galerie participe à des foires d'art dans le monde entier, dont la FIAC depuis 1974 et ART BASEL depuis 1978.

L'histoire de la Galerie TEMPLON fait aujourd'hui l'objet d'un livre de l'historienne Julie Verlaine " Daniel Templon : une histoire de l'art contemporain " paru chez Flammarion en 2016.