A színész 1924 novemberében Mexikóban titokban oltár elé vezette Litát, első fiuk, Charles Chaplin Jr. következő év márciusában született meg. Öccse, Sydney egy évvel később, 1926 márciusában jött világra.
A házasság már az elejétől fogva boldogtalanságra volt ítélve, a kapcsolatban mind Chaplin, mind pedig Lita szenvedett. Kettejük érdeklődési körének már csak a generációs különbségek miatt sem volt túl sok közös pontja, Chaplin pedig a forgatások miatt rengeteget volt távol. A színész folyamatosan hűtlenkedett, Grey pedig egy idő után beleunt ebbe, és 1927-ben beadta a válópert.
Bár az esküvőt sikerült teljes titokban megkötniük, a válás már korántsem volt ilyen csöndes, a korabeli bulvárlapok tele voltak a kapcsolat részleteivel és a színész nőügyeivel is. Az igazán szaftos részletekre azonban csak most derült fény, miután a Los Angeles-i Nemzeti Bankból előkerült az ötvenoldalas válási jegyzőkönyv.
A papírokban Grey arról panaszkodik, hogy a házasságuk alatt a színész megalázó és perverz szexuális játékokra kényszerítette, amelyek illegálisak voltak az 1920-as évek Kaliforniájában. Ezeket a játékokat – derül ki a dokumentumokból – Chaplin öt ismert hollywoodi színésznővel is űzte. Megtörtént, hogy arra szerette volna rávenni Greyt, vegyen részt egy háromszemélyes szexuális aktusban, a lány viszont nem volt erre hajlandó. Egy másik esetben ismét olyan kéréssel állt elő, ami Lita számára visszatetszést keltett, mire a színész kikelt magából és azt ordította, minden házaspár csinál efféle dolgokat, és mivel Grey az ő felesége, mindent meg kell tennie, amit csak a férje akar.
A fáma szerint az orosz írónak, Vladimir Nabokovnak ez a házasság adott ötletet a Lolita megírásához.
Bár a dokumentumok csak most kerültek elő, a válóper során kiszivárgott azok tartalma, és a sajtó a részleteken csámcsogott. A színész az ideg-összeroppanás határára, karrierje pedig veszélybe került, mert több filmjét betiltották a nyilvánosságra jutott kínos részletek miatt. A válás során a bíróság hatszázezer dollár megfizetésére kötelezte Chaplint, akinek a tartásdíjon túl további 225 ezer dollárt kellett fizetnie. Ez a 825 ezer dollár akkor minden idők legköltségesebb válását jelentette.
A válás után Grey még háromszor ment férjhez, 1966-ban elvált negyedik férjétől is. Két memoárt is kiadott, az Életem Charlie Chaplinnel című kötet egykori férjéről, míg a Wife of the Life of the Party inkább saját magáról szól. 1995 végén, nyolcvanhét évesen halt meg Los Angelesben.
Chaplinről az a hír járja, hogy nem vetette meg a szép nők társaságát, több mint kétezer nővel volt hosszabb-rövidebb szexuális kapcsolata. Grey már a második felesége volt, akit még két feleség követett. Paulette Goddard színésznővel Chaplin 1936 és 1942 között élt együtt, a Nobel- és Pulitzer-díjas író, Eugene O'Neill lányával, Oonával pedig 1943-tól egészen a haláláig, 1977-ig együtt maradt. Kettejük között több mint harminchat év volt a korkülönbség, ennek ellenére ez a házasság boldog volt, a párnak összesen nyolc gyermeke született.
