Festészeti tanulmányait 1885-1888 közt a Mintarajziskolában kezdte. Majd a Müncheni Akadémia hallgatója lett. Hazatérte után a Benczúr Gyula Mesteriskola növendéke volt. Neves festők irányítása alatt képezte magát, Lotz Károly és Székely Bertalan voltak a tanárai. Több díj és kiállítás után 1902-től 1903-ig Nagybányán alkotott. Szorosan nem tartozott a nagybányai iskola tagjai közé. Tanulmányutakat tett, Párizsban, Rómában, Hollandiában. Miután visszatért a Szolnoki Művésztelep tagja lett. Visszahúzódó természetének legjobban a tanyasi élet magánya felelt meg. Közel 30 évig egy Szentes melletti tanyán élt és dolgozott, az 1920-as évek elején tanyáját megosztotta Nagy Istvánnal, aki ebben az időben éppen a szentesi tájat festette. 1937-ben a Szinyei Merse Pál Társaság tiszteletbeli tagjává választotta. Halála előtt úgy rendelkezett, hogy képeit a szentesi múzeumra hagyja, ez így is lett, a múzeum hálából 1949-ben felvette Koszta József nevét, ma is úgy hívják, Koszta József Múzeum.