Tereny położone za Bramą Szewską, nazywane Piaskiem, należały do XIV stulecia do książąt i królów. W 1363 roku król Kazimierz Wielki sprzedał prawa do nich Krakowowi. Już z początkiem XV wieku rozwinęła się tam największa miejska jurydyka Garbary - osada na przedmieściach, która miała własny zarząd, ale podlegała władzom Krakowa. Zamieszkiwali ją głównie rzemieślnicy - ze względu na płynącą tu rzeczkę Rudawę i dostępność wody dominowali tu garbarze (stąd nazwa jurydyki), garncarze i krupnicy (wytwórcy kaszy). Umiejscowiono tu także miejskie młyny, folusze i szlifiernie. Cała osada skupiła się wokół kościoła oo. Karmelitów. Od niego wzięła dzisiejszą nazwę główna ulica wiodąca przez przedmieście, która w XIV wieku była fragmentem ważnego traktu wiodącego m.in. w kierunku Śląska. Jednak dawniej ulica ta była podzielona na dwie części. Pierwsza z nich - nazywana najpierw Szeroką, później Piaskową - biegła przez jurydykę Garbary i miała "miejski" charakter. Pamiątką po niej jest zachowany do dziś bez zmian ratusz - XVIII-wieczna kamieniczka z opływowym, późnobarokowym szczytem (nr 12).

Dalsza, "sielska" część dzisiejszej Karmelickiej, wzmiankowana już w roku 1357 jako ulica Czarna, to niekończące się ogrody z niewielkimi dworkami i rozproszone wiejskie zagrody. Taki pejzaż przetrwał aż do lat 70. XIX wieku, kiedy intensywnie rozwijający się Kraków pochłaniał pod zwartą zabudowę coraz to nowe tereny. Chociaż od roku 1858 ujednoliconą nazwą "Karmelicka" objęto całą ulicę, nazwa "Czarna" - związana zapewne z pobliską Czarną Wsią - funkcjonowała jeszcze przez wiele lat.

Początek ulicy Karmelickiej (od strony centrum miasta) zdominował budynek założonego w roku 1919 Teatru Bagatela. Jego dzisiejsza, modernistyczna fasada to efekt kilku późniejszych przebudów. Nieco dalej, u zbiegu z ulicą Rajską, w latach 60. XIX wieku - w okresie przekształcania Krakowa w twierdzę - stanęły ogromne koszary, przekształcone (1996 r.) w siedzibę Wojewódzkiej Biblioteki Publicznej.

Wśród wielu pięknych kamienic stojących w dalszej części ulicy wyróżnia się oryginalny Dom pod Pająkiem (nr 35), wzniesiony w roku 1889 u zbiegu z ulicą Batorego. Jego projektantem i zarazem właścicielem był Teodor Talowski, jeden z najwybitniejszych krakowskich architektów przełomu XIX i XX w. Od strony ulicy Karmelickiej niespokojną, pełną niespodzianek, ceglaną fasadę wieńczy attyka w typie niderlandzkim wzorowana na manierystycznych szczytach domów spotykanych w miastach północnej Europy, a na terenie Polski - między innymi w Gdańsku. W zwieńczeniu attyki umieszczone zostało godło domu - pająk w sieci oraz data budowy i fragment zegara słonecznego. Zwraca uwagę łacińska inskrypcja umieszczona na belkowaniu, ponad wykuszem pierwszego piętra: Jeśli Bóg z nami, któż przeciw nam.