Felvidéki eredetű evangélikus családban született; anyai ágon Petőfi Sándor másod-unokatestvére. Középiskoláit Mezőberényben, Szarvason és Sopronban végezte, Pápán pedig jogi végzettséget szerzett. Tanulmányai egy részét Petőfivel és Jókaival töltötte, hatásukra írogatott is. 1846-tól festészeti tanulmányokat folytatott Bécsben Ferdinand Georg Waldmüllernél, Münchenben Wilhelm von Kaulbachnál, később Rómában és Párizsban.

Egy ideig Debrecenben arcképfestésből jól megélt, majd ismét Bécsben telepedett le, de a pesti állandó műtárlat megalakulása után Pestre költözött. 1851-től használta az Orlai nevet, de csak 1853-ban vette fel hivatalosan. 1854-ben feleségül vette Névery Ninát. 1861-től az Országos Magyar Képzőművészeti Társulat igazgató-választmányi tagja, olyan neves festők társaságában mint Barabás Miklós, Zichy Jenő, Than Mór.