רוסי נולד בסנטה לוצ'יה שבאיטליה. הוא התחיל את הקריירה שלו ביובנטוס כקיצוני, וממנה הושאל בעונותיו הראשונות לקומו. ולוויצ'נצה, שם הפך בהדרגה להיות חלוץ מרכזי. לאחר עונה בוויצ'נצה, שבמהלכה כבש 21 שערים בסרייה ב', נרכש רוסי על ידי הקבוצה ב-1.5 מיליון פאונד. בעונה השנייה, לעומת זאת, ירדה הקבוצה ליגה.
ב-1980 הושאל רוסי לפרוג'ה, שם היה אחד הנאשמים בפרשת Totonero (אנ'), שבמרכזה שחיתות ומכירת משחקים (במשחק בין פרוג'ה לאבלינו, שהסתיים בתיקו 2-2). הוא הורחק ל-3 שנים. על אף שטען לחפותו, החליטה ההתאחדות שלא לחנון אותו, אך קיצרה את השעייתו לשנתיים בלבד. עקב ההשעיה מכרה אותו פרוג'ה ב-1981 תמורת חצי מיליון פאונד בלבד חזרה ליובנטוס.
מיד בתום השעייתו, ב-29 באפריל 1982, הוזמן רוסי לסגל הנבחרת הלאומית לקראת מונדיאל 1982. במונדיאל, הוביל רוסי את נבחרת איטליה לגביע המיוחל, ואף סיים כמלך השערים של הטורניר וכשחקן המצטיין. משחקו הידוע היה בסיבוב השני בו כבש שלושער נגד נבחרת ברזיל, במשחק בו ניצחה נבחרת איטליה 3:2. בחצי הגמר כבש צמד בניצחון 2:1 על פולין. הוא כבש את שערה הראשון של איטליה בניצחון במשחק הגמר מול גרמניה, שהסתיים בתוצאה 3:1. אחרי המונדיאל, רוסי היה שותף לזכייה של יובנטוס בגביע האיטלקי, בשתי אליפויות, בגביע המחזיקות, בסופר קאפ אחד ובגביע אירופה לאלופות. בקיץ 1985 עבר רוסי למילאן, אך כבש רק שני שערים בעשרים משחקים. אף על פי כן, זומן לסגל המסכם למונדיאל 1986, אך לא זכה לשחק במהלך הטורניר. הופעתו האחרונה במדי הנבחרת הייתה מול סין, זמן קצר לפני המונדיאל.
אחרי עונה כושלת במילאן הוא עבר להלאס ורונה, שם סיים את הקריירה שלו בגיל 30 עקב פציעה. משחקו האחרון היה ניצחון מרהיב 0–3 מול נאפולי של דייגו מראדונה, אשר זכתה באליפות בסוף אותה עונה.
במשך כל הקריירה שלו, כבש פאולו רוסי 20 שערים ב-48 הופעות בינלאומיות. היו שראו אותו כשחקן מוכשר אך מעורר מחלוקת, והיו שראו אותו כאחד מנערי הפלא באיטליה של שנות ה-80, בזכות הטכניקה ויכולת הסיום שלו. הוא נבחר על ידי פלה לאחד מ-125 שחקני הכדורגל החיים הטובים בעולם.