Rođen u Parizu, poreklom potiče od španskih doseljenika u Južnu Ameriku i vicekralja Perua, i rano detinjstvo je proveo u Limi. Unuk je Flore Tristan, osnivačice savremenog feminizma. Nakon školovanja u Orleanu, Francuska, Gogen je narednih šest godina proveo ploveći širom sveta utrgovačkoj mornarici a kasnije i u francuskoj mornarici. Nakon povratka u Francusku 1870, zaposlio se kao pomoćnik brokera. NJegov staratelj Gistav Aroza, uspešni poslovni čovek i kolekcionar umetničkih dela, upoznao je Gogena sa Kamijom Pisaroom 1875.
Gogen je radnim danima bio uspešan berzanski broker, a odmore je provodio slikajući sa Pisaroom i Polom Sezanom. Iako su mu prvi pokušaji bili nevešti, brzo je napredovao. Do 1884. Gogen se sa porodicom preselio u Kopenhagen, gde je bezuspešno pokušao da se bavi biznisom. Primoran da se bavi slikarstvom da bi preživeo, vraća se u Pariz 1885, i ostavlja porodicu u Danskoj. Bez dovoljno sredstava za život, njegova žena (Met Sofi Gad) i njihovo petoro dece odlaze da žive sa njenom porodicom. Gogen je nadživeo dvoje od svoje dece.