Oleksy 1969-ben lépett be az állampártba, a Lengyel Egyesült Munkáspártba (LEMP), pártkarrierje 1977-tól ívelt felfelé, 1987-89 között vajdasági párttitkár volt. 1989-ben Mieczyslaw Rakowski kormányának tagja lett, tárcája a szakszervezetekkel való együttműködést felügyelte. A párt egyik megbízottjaként részt vett az 1989-es lengyel kerekasztal-tárgyalásokon. Az abban az évben rendezett első, részben szabad választásokon képviselői mandátumot szerzett.

1990-ben egyik alapítója volt a LEMP utódpártjának, a Lengyel Szociáldemokrata Pártnak (SdRP), amelyből később alakult meg az SLD. Pártja jelöltjeként 1995-96-ban volt kormányfő, 1993-1995-ben, valamint 2004-2005-ben pedig házelnök. Második házelnöki időszaka előtt három hónapig a belügyi tárca élén állt. 2004 végén, 2005 elején pártelnöki posztot is betöltött, 2004 májusától júliusig EP-képviselő volt.

Oleksy a rendszerváltás után több politikai botránynak volt a kulcsszereplője. 1996-ban azért távozott a kormányfői posztról, mert a KGB lengyelországi rezidenseivel fenntartott kapcsolatokkal vádolták meg. A katonai ügyészség később bizonyítékok hiányában megszüntette az ellene indított eljárást. Az ügy azonban, amelyben Aleksander Kwasniewski volt elnök is érintett volt, rontott a lengyel baloldal megítélésén.

Oleksy hitelességén azok a körülmények is rontottak, amelyek között 2005-ben kénytelen volt megválni a házelnöki posztjától. A bíróság akkoriban az átvilágítási törvényre hivatkozva úgy döntött, a politikus jogtalanul eltitkolta a kommunista lengyel katonai elhárítással való együttműködését. Ezt az ítéletet azonban 2007-ben a lengyel legfelsőbb bíróság nyilvánította semmissé.

Jozef Oleksy romló egészsége miatt 2014 elején visszavonult a politikai élettől.