לקראת מלחמת העולם הראשונה היה גריי מעורב במספר פרשיות אשר, בסופו של דבר, הובילו לפריצתה. כך, למשל, ניסה ללא הצלחה לגשר בין האימפריה האוסטרו-הונגרית וסרביה. מחדלו הגדול הוא אולי בכך שלא הבהיר את עמדת בריטניה לגרמניה באותה העת, כי על האחרונה לקיים ולהגן על עמדתה הנייטרלית של בלגיה. כאשר העביר את המסר לבסוף, כוחות גרמנים כבר החלו להתאסף לקראת פלישה לבלגיה והקבינט הבריטי הכריז מלחמה על הגרמנים. בתחילת המלחמה, אימרתו, "האורות כבים", זכתה לתשומת לב רבה.
במהלך המלחמה עצמה המשיך גריי לכהן כשר החוץ הבריטי. בנצלו את יכולותיו הדיפלומטיות הוא ניהל משא ומתן עם מספר מדינות אשר סייעו למדינות ההסכמה. כך למשל סייע בכניסתה של איטליה למלחמה וכן הבטיח לאימפריה הרוסית שטחים מהאימפריה העות'מאנית.
במרץ 1916, כשנה וחצי לפני הצהרת בלפור, היה זה גריי שהציע לשתי מעצמות ההסכמה האחרות, צרפת ורוסיה, להוציא הצהרת תמיכה משותפת בציונות. בזמנו לא זכתה הצעתו זו להתייחסות של שתי בנות הברית הללו של בריטניה.
גריי איבד את משרתו כשר החוץ של בריטניה בטרם נסתיימה המלחמה, בעקבות חילופי השלטון בממשלה הבריטית. הוא המשיך בקריירה הפוליטית, עתה באופוזיציה. במהלך תקופה זו קיבל על עצמו את תואר האצולה ויקונט גריי הראשון, אך שושלתו של תואר זה נסתיימה עם מותו. בשנים 1919–1920 כיהן כשגריר בריטניה בארצות הברית.