Chociaż Mafia II jest kontynuacją, przedstawia zupełnie odrębną historię. Nie oznacza to, że rozbudowana fabularnie poprzedniczka poszła w zapomnienie - w dwójce znajduje się mnóstwo nawiązań i smaczków, czytelnych dla fanów (m.in. zeznania Tommy'ego Angelo wyświetlane w trakcie ładowania misji). Zmieniają się jednak główni bohaterowie, czas oraz miejsce akcji. Wcielamy się bowiem w postać Vito Scalettiego, w momencie, gdy kończy on służbę wojskową i zimą 1945 roku wraca do domu - monumentalnego Empire Bay (10 mil kwadratowych), będącego w rzeczywistości wirtualną adaptacją Nowego Jorku (odwzorowanego w dość luźny sposób, wraz z kilkunastoma charakterystycznymi budowlami, jak np.: Empire State Building czy most Brooklyński). Metropolia składa się z kilku różnych dzielnic (np. Chinatown, przemysłowa Millville, portowe Oysterbay i Southport, krainy bogaczy Kingstone i Highbrook), wśród których dla tej historii najważniejsze są oczywiście Małe Włochy (Little Italy). Vito, wraz z przyjacielem Joe Barbaro, próbują odnaleźć się na powrót w tej rzeczywistości. Nie zamierzają jednak zatrudnić się w dokach jako tania siła robocza. Czeka na nich bowiem "kariera" w świecie przestępczym, w szeregach jednej z lokalnych rodzin mafijnych.

Zmiana okresu, w jakim dzieje się akcja, oznacza nowe, jeszcze bardziej okrutne realia oraz nieco inną stylistykę (także szybsze samochody). Druga odsłona serii wzorem swojego poprzednika oferuje dość liniowy przebieg rozgrywki. Do rozegrania jest w sumie piętnaście rozdziałów, a ich ukończenie na normalnym poziomie trudności powinno zająć od 10 do 15 godzin. Same zadania są na szczęście bardzo zróżnicowane, oferując efektowne potyczki z członkami konkurencyjnych mafijnych rodzin, przejażdżki samochodowe, w których należy kogoś śledzić lub uciekać policji, a nawet wyzwania polegające na konieczności pozostawania w ukryciu. Wszystko to spięte zostało niezwykle ciekawym wątkiem głównym, pełnym zwrotów akcji, napięcia i charakterystycznego, czarnego humoru.

Prócz tego w mieście czeka na nas mnóstwo atrakcji, zarówno legalnych jak i niezgodnych z prawem. Możemy więc kraść pojazdy (na szybko, przez zbicie szyby, lub subtelnie, przez włamanie), wybierając z kilkudziesięciu modeli wzorowanych na prawdziwych markach, a później ulepszać je i modyfikować w warsztacie. Na terenie Empire Bay znajdują się liczne sklepy, w których możemy zakupić nowe ubrania (przydatne czasem, gdy ściga nas policja), jedzenie czy bronie.