Neil Young escribió esta canción sobre la esclavitud y la quema de cruces en el sur de Estados Unidos en el vestuario del teatro Fillmore East en 1970. "Southern man" narra la historia de un adinerado "hombre del sur" que maltrataba cruelmente a sus esclavos, y en la canción Young le pregunta a su protagonista cuando devolverá todo el daño causado y la fortuna conseguida de manera tan ilícita ("Veía algodón y veía en negro, altas y blancas mansiones y pequeñas chozas. Hombre del sur, ¿Cuándo lo devolverás?").
Curiosamente, "Southern man" no fue elegida como single del disco, en favor de "Only Love Can Break Your Heart" y "When You Dance I Can Really Love", pero a día de hoy es un clásico imprescindible del artista canadiense, incluso por encima de los singles mencionados. Buena culpa de ello la tuvo el grupo de rock sureño Lynyrd Skynyrd, que escribieron su "Sweet Home Alabama" en respuesta a la letra de "Southern Man" y de la canción "Alabama", que aparecería en el álbum "Harvest" de Young dos años después. Lejos de alimentar ninguna polémica, Young declaró también su admiración por el tema de Lynyrd Skynyrd, e incluso llegó a interpretarla ocasionalmente en alguno de sus conciertos.
