Právě z týmu nynějšího pražského rivala, který tehdy hrál ještě druhou nejvyšší soutěž, přišel v 22 letech Žemlička do Sparty v průběhu sezony 1986/87. Za Spartu pak odehrál celkem 15 ročníků, v nichž nastoupil v 634 zápasech. Více utkání má na kontě v historii klubu jen Jiří Zelenka, ale Žemlička je s 565 kanadskými body nejproduktivnějším sparťanem v historii.
Žemlička, který působil během kariéry také v TPS Turku, Freiburgu, Eisbären Berlín a Sachsen Füchse, vyhrál se Spartou tři mistrovské tituly v letech 1990, 2000 a 2002. Z klubu odešel v lednu 2003, kdy byl vyměněn do Litvínova. Tam strávil dvě sezony, pak ještě působil na Slovensku v Popradu a Liptovském Mikuláši.
V současné době Žemlička trénuje sparťanský dorost s bývalým spoluhráčem Pavlem Geffertem a nastupuje ještě za druholigovou Roudnici nad Labem.
