Brown fu scelto dai New York Giants, dopo avere giocato al college a football alla Morgan State University, del Draft NFL 1953[2], dopo essere stato notato dalla squadra nel Pittsburgh Courier, un giornale afroamericano, che lo aveva inserito nel suo Black All-American team del 1952. Come membro della linea offensiva, Brown bloccò per i quarterbackCharlie Conerly e Y.A. Tittle e per running back come Alex Webster e Frank Gifford. Nonostante i suoi 191 cm per 116 kg , Brown era molto rapido, un fatto inusuale per la sua epoca. È considerato una delle migliori scelte degli ultimi giri della storia del Draft NFL, essendo stato selezionato nel 27º. In carriera fu convocato per nove Pro Bowl e coi Giants vinse il campionato NFL del 1956. Dopo la stagione 1965 fu costretto al ritiro a causa di una flebite cronica, divenendo assistente allenatore della linea offensiva dei Giants, venendo promosso ad allenatore nel 1969. In seguito rimase con la franchigia per diversi anni come osservatore. Nel 1999, è stato classificato al numero 57 della lista di The Sporting News dei migliori cento giocatori di tutti i tempi.
Stati Uniti 
Campionati NFL : 1
Pro Football Hall of Fame (classe del 1975)
