פאולי מרי נולדה בבולטימור, מרילנד ב-20 לנובמבר 1910. לפאולי הייתה משפחה מעורבת ביינהם: עבדים לשעבר, בעלי עבדים, ילידים אמריקאים ואירלנדים. ב-1914 אמה, אגנס מתה מדימום מוחי ופאולי עברה לגור עם המשפחה של אמא שלה בדורמן, צפון קרולינה. כשפאולי הייתה בת 12 אביה התחיל לחלות במחלה בשם טיפואיד ובעקבות המחלה הוא פיתח בעיות נפשיות, הוא נשלח לאשפוז בבית חולים פסיכיאטרי, אחרי שנה שלא קיבל טיפול הולם בבית החולים לחולים שחורים בלבד, הוכה למוות על ידי שומר לבן במחבט  בייסבול

בגיל 16 פאולי עברה לניו יורק וגרה עם בן הדוד שלה מוד, כדי לסיים שם את לימודי התיכון ולהתכונן לאוניברסיטה. בן הדוד שלה גר בשכונה לבנה והיא לא אהבה איפה שהוא גר שם מפני שהגזע שלה גרם למתח בין השכנים, למרות זאת פאולי סיימה את התיכון בהצטיינות ודורגה שנייה במחזורה ב-1927 ולאחר מכן נרשמה לשנתיים של לימודים במכללת האנטר. פאולי ביקשה להרשם ללימודים באוניברסיטת קולומביה, אך אלו הודיעו לה שאין הם מקבלים נשים. לא היה לה מספיק כסף ללמוד במכללת הנשים של קולומביה, ברנרד, אז היא המשיכה במכללת האנטר, שהציעה לימודים חינמיים לתושבי העיר. היא הייתה אחת מתוך קומץ שחורים שלמדו שם. כשכתבה מאסה על חיי סבה, המרצה שלה לאנגלית עודד אותה  לפתח את כתיבתה. המאסה הייתה לבסיס ספרה שיצא מאוחר יותר, ב-1956 המגזין "נעליים גאות" (תרגום חופשי)  סיפר את קורות משפחת אמה. היא פרסמה מספר שירים ומאמר בזמן הלימודים וב-1933 סיימה תואר באנגלית. 

 ב-1930 פאולי התחתנה בחשאי עם ויליאם רוי ווין או איך שהיא קראה לו ״בילי״ אבל היא התחרטה על ההחלטה הזאת. הם העבירו את ירח הדבש שלהם במלון זול וזה היה אסון שם היא הבינה את המאבק הפנימי שלה עם עצמה וכך היא גילתה שהיא אוהבת נשים ולא גברים. הם לא ראו אחד את השני עד ל-26 למרץ 1949 כשהיא ביקשה לבטל את נישואיהם