"Just the Two of Us" fue escrita por Bill Withers, William Salter y Ralph MacDonald, y grabada en Elektra Records por el músico de jazz Grover Washington Jr. para su disco Winelight (1980) con el propio Bill Withers en la voz. William Salter y Ralph MacDonald compusieron la música y se la pasaron a Withers, que escribió la letra de la canción.
Como sencillo, salió publicada en febrero de 1981 y alcanzó el segundo puesto del Billboard Hot 100 estadounidense, manteniéndose en ese puesto durante tres semanas. Withers, Salter y MacDonald ganaron el premio Grammy a la Mejor Canción R&B en la 24ª entrega anual de los Premios Grammy con "Just the Two of Us". y la canción de Grover Washington Jr. fue nominada a mejor canción del Año y a la Mejor Interpretación Vocal Pop Masculina (Bill Withers) pero no logró hacerse con el galardón.
"Just the Two of Us" está considerado por muchos la canción que lideró el auge del "smooth jazz" de primeros de los ochenta, y fue el único Top 40 que Grover Washington Jr. consiguió a lo largo de toda su carrera. Para Bill Withers supuso también un importante espaldarazo comercial, y la incluyó en una versión más corta en su disco de grandes éxitos "Bill Withers' Greatest Hits" y en recopilaciones posteriores de sus mejores canciones.
