Mafia II to kontynuacja wydanej w 2002 roku gry Mafia: The City of Lost Heaven autorstwa Illusion Softworks. Za część drugą odpowiada ta sama ekipa, która od roku 2008 znana jest pod inną nazwą (2K Czech). Prócz tytułów opowiadających o niesławnej włoskiej grupie przestępczej, firma znana jest między innymi z Hidden & Dangerous czy Vietcong.

Chociaż Mafia II jest kontynuacją, przedstawia zupełnie odrębną historię. Nie oznacza to, że rozbudowana fabularnie poprzedniczka poszła w zapomnienie - w dwójce znajduje się mnóstwo nawiązań i smaczków, czytelnych dla fanów (m.in. zeznania Tommy'ego Angelo wyświetlane w trakcie ładowania misji). Zmieniają się jednak główni bohaterowie, czas oraz miejsce akcji. Wcielamy się bowiem w postać Vito Scalettiego, w momencie, gdy kończy on służbę wojskową i zimą 1945 roku wraca do domu - monumentalnego Empire Bay (10 mil kwadratowych), będącego w rzeczywistości wirtualną adaptacją Nowego Jorku (odwzorowanego w dość luźny sposób, wraz z kilkunastoma charakterystycznymi budowlami, jak np.: Empire State Building czy most Brooklyński). Metropolia składa się z kilku różnych dzielnic (np. Chinatown, przemysłowa Millville, portowe Oysterbay i Southport, krainy bogaczy Kingstone i Highbrook), wśród których dla tej historii najważniejsze są oczywiście Małe Włochy (Little Italy). Vito, wraz z przyjacielem Joe Barbaro, próbują odnaleźć się na powrót w tej rzeczywistości. Nie zamierzają jednak zatrudnić się w dokach jako tania siła robocza. Czeka na nich bowiem "kariera" w świecie przestępczym, w szeregach jednej z lokalnych rodzin mafijnych.