Historia opowiedziana w „Mafii” dzieje się w latach 30-tych XX wieku i traktuje o karierze Tommy’ego Angelo, gangstera z przypadku. Ten młody taksówkarz z miasta Lost Heaven miał nieprzyjemność załapać kilka kursów do „szemranych” dzielnic. Właśnie w trakcie jednego z takich kursów został zaatakowany przez zakapiorów niejakiego Morello. Gdyby nie przytomność umysłu i szybkie nogi, skończyłby jako przynęta dla ryb w mętnych wodach zatoki św. Piotra. W trakcie ucieczki przed zbirami schronił się we włoskim barze... i już tam pozostał. Oferta pracy złożona przez Dona Salieri - właściciela baru i całej dzielnicy włoskiej w mieście, wydawała się ciekawsza niż ciężkie życie taksówkarza, poza tym i tak nie miał wyjścia. Został gangsterem.

Gra jest podzielona na 22 misje, które ukazują jak ciężkie jest żołnierza mafii. Zbieranie haraczy od właścicieli knajpek i stacji benzynowych, przejmowanie transportów nielegalnego alkoholu, przekazywanie kradzionych aut do złodziejskich „dziupli”, likwidowanie zdrajców i członków konkurencyjnej rodziny – oto chleb powszechny Tommy’ego.