Cuenta la leyenda que en una de sus casonas vivía un matrimonio: ella, una criolla hermosa, esbelta, blanca, garbosa y joven, de cabellera como el azabache, labios rojos y mejillas sonrosadas. Sobresalían dos esmeraldas entre las largas pestañas y unas cejas gruesas y pobladas, pues en la época de Xalapa de la Feria, aún no se depilaban las jóvenes. Moralmente era un modelo de virtud y ejemplo de esposa enamorada de su marido. Éste era un caballero español, físicamente bien formado, que amaba a su dulce compañera con toda el alma. A esto hay que agregar que gozaban de una desahogada posición económica.
Cuando la pareja se prometió, él dio a su futura esposa un anillo con un hermoso diamante negro. Éste era de lo más extraño y en el blanquisimo anular derecho de la dama parecía un ojo diabólico. Esta piedra según cierta superstición, «tiene la rara virtud de aumentar el amor del matrimonio y descubrir la infidelidad de la esposa».
Cuando la dama recibió la joya juró a su galán jamás separarse de ella… pero los juramentos femeninos no siempre son muy firmes y durables.
El recio ibero tenía un amigo, a quien consideraba como hermano. Un día que el esposo salió de viaje ella fue a visitar al amigo y… sucedió lo inevitable. Por razones que se ignoran, ella se quitó el anillo y lo dejó en el buró, junto al lecho. Por motivos también desconocidos, el apresuramiento, la zozobra, la dama olvidó la alhaja. A su regresó a Xalapa el esposo no se dirigió a su casa, sino fue primero a la del amigo. Entró y lo encontró en su alcoba durmiendo la siesta y, ¡oh sorpresa!, lo primero que vio en la mesilla de noche fue el diamante negro de su esposa. Disimuladamente se apoderó de la joya y se dirigió a su casa.
Llamó a su bella compañera y al besarle la mano, comprobó que no lucía el anillo. Como el destello del relámpago salió a lucir la daga de empuñadura de oro, incrustada de rubíes, que se clavó en el pecho de la infiel. El caballero dejó sobre el cadáver de la esposa el anillo del diamante negro y desapareció para siempre.
La gente de los alrededores, exclamaba: ¡Vamos a ver «el cadáver del diamante»! Poco a poco la expresión cambió y solo decían ¡Vamos al Callejón del Diamante! Nombre que la tradición ha mantenido a través del tiempo.