Innan Ben Affleck och Matt Damons enorma succé och Oskarvinst för Good Will Hunting var Afflecks kärleks och privatliv inget som uppmärksammades. Men sedan kom det som slog upp hans ansikte på varenda skvallertidning, han började datea Gwyneth Paltrow under 1998. Paltrow som fortfarande var känd från att ha vunnit en Oskar för Shakespeare in Love drog snabbt fram den okände Bostonbon från skuggorna och in i det mediala rampljuset. Det blev bara en kort flört som enligt Affleck tog slut då han kände att Paltrow försökte förändra honom vilket han motsatte sig.
Under 2002 blev han mer eller mindre världskänd genom sin relation med Jennifer Lopez. Relationen blev et medialt monster som fick smeknamnet Bennifer under tiden det varade. I början var det bara ett vänskapligt umgänge och det hade ganska låg profil eftersom Jeniffer Lopez under tiden höll på att gå igenom sin skilsmässa från sin ex-man Chriss Judd. Kort därefter blev det mycket vildare och den mediala smällen nådde sin klimax när Affleck poppar upp i slutet av J-Los musikvideo ”I’m still Jenny from the block” och de börjar hångla intensivt. Förlovningen kom snabbt därefter och Jennifer Lopez fick en ring värd 3.5 miljoner dollar med en rosa diamant av 6.1 karat. Men Bennifer tog abrupt slut 2003 när filmen Gigli, som de båda spelade i, floppade ordentligt och deras påkostade bröllop som skulle gå på 2 miljoner dollar ställdes in.
Under tiden som superparet splittrades hade Affleck återigen börjat umgås med Jennifer Garner, som han spelade mot i Pear Harbor och Daredevil. De inledde en platonisk relation under Bennifer-dramat men när det var avslutat blev de ett par och förlovade sig ganska snabbt därefter. Jennifer Lopez hade samtidigt börjat umgås med sitt ex Marc Anthony. Affleck och Garner gifte sig bara nio månader efter att de blivit ett par och har nu tre barn tillsammans. Bröllopet var på Turks och Caicos som ligger strax norr om Haiti och den dominikanska republiken. Deras relation har varit mycket annorlunda jämförelsevis med hans tidigare på det sättet att de har hållit mycket låg profil och skriverierna har varit ytterst få. De har tre barn tillsammans Violet Anne som föddes 2005, Seraphina Rose som föddes 2009 och Samuel som föddes 2012. Paret pendlar mellan Massachusetts och Los Angeles där de bor året runt men de har även ett semesterhus i Georgia.
Affleck är också en stor pokerspelare och har ofta turnerat på lite mer lokala tillställningar. Han har blivit undervisad av pokerlegender som Amir Vahedi och Annie Duke samt har vunnit California State Poker Championship 2004 då han tog hem 365,000 dollar i första pris. Han blev där också kvalificerad att tävla i World Poker Tours final. När det gäller sport är han ett fan av Boston Red Sox, New England Patriots, Boston Celtics och Boston Bruins.
Sedan 2001 är Affleck nykter efter att han varit på ett behandlingshem för alkoholism och han har även slutat röka efter att ha spelat med i filmen Smokin’ Aces där han i en intervju berättar att han mer eller mindre rökte bort sitt rökbehov efter att ha kedjerökt kontinuerligt till en roll han spelat.