Gdzieżeś ty bywał, czarny baranie?
We młynie, we młynie, mościwy panie.
Cóżeś tam jadał, czarny baranie?
Gałeczki, kluseczki, mościwy panie.
(piosenka dziecięca)

Według tradycji kiedyś w miejscu, gdzie stoi Pałac Pod Baranami, znajdowała się gospoda, przy której trzymano barany przeznaczone do sprzedaży dla mieszkańców Krakowa. I właśnie od nich wywodzi się godło i nazwa kamienicy. Kiedyś nazwa brzmiała: „Gdzie Barany”, a jej godło wyglądało inaczej niż dziś: były to dwa barany złączone wspólną głową. Teraz nad bramą wiszą trzy baranie głowy*.

*W pałacu działa studyjne Kino Pod Baranami, a w piwnicach przedstawienia daje słynny kabaret Piwnica pod Baranami.