Charles improviseerde dit nummer toen hij in december 1958 bij een van zijn optredens de gehele setlist gespeeld had, maar nog zin had om verder te spelen.

Het nummer is dus geschreven door Ray Charles zelf en de productie was in handen van Jerry Wexler.

Het was voor Ray Charles zijn eerste top 10-hit in zijn thuisland Amerika.

Het werd in 2002 opgenomen in het National Recording Registry.

In een door het muziekblad Rolling Stone samengestelde lijst van de vijfhonderd beste liedjes stond What’d I Say op de tiende plek.