Chociaż Mafia II jest kontynuacją, przedstawia zupełnie odrębną historię. Nie oznacza to, że rozbudowana fabularnie poprzedniczka poszła w zapomnienie - w dwójce znajduje się mnóstwo nawiązań i smaczków, czytelnych dla fanów (m.in. zeznania Tommy'ego Angelo wyświetlane w trakcie ładowania misji). Zmieniają się jednak główni bohaterowie, czas oraz miejsce akcji. Wcielamy się bowiem w postać Vito Scalettiego, w momencie, gdy kończy on służbę wojskową i zimą 1945 roku wraca do domu - monumentalnego Empire Bay (10 mil kwadratowych), będącego w rzeczywistości wirtualną adaptacją Nowego Jorku (odwzorowanego w dość luźny sposób, wraz z kilkunastoma charakterystycznymi budowlami, jak np.: Empire State Building czy most Brooklyński). Metropolia składa się z kilku różnych dzielnic (np. Chinatown, przemysłowa Millville, portowe Oysterbay i Southport, krainy bogaczy Kingstone i Highbrook), wśród których dla tej historii najważniejsze są oczywiście Małe Włochy (Little Italy). Vito, wraz z przyjacielem Joe Barbaro, próbują odnaleźć się na powrót w tej rzeczywistości. Nie zamierzają jednak zatrudnić się w dokach jako tania siła robocza. Czeka na nich bowiem "kariera" w świecie przestępczym, w szeregach jednej z lokalnych rodzin mafijnych.