இக்கோயிலில் காணப்படும் கல்வெட்டுகளில் குழந்தை வேலப்பர், 'திருக்கை வேலப்பர்' என்ற பெயரால் குறிப்பிடப்படுகிறார்.

முருகப் பெருமான் குழந்தை வடிவில் தோன்றி அருணகிரிநாதர் என்ற சித்தரை அரக்கனிடமிருந்து காப்பாற்றினார் என்று நம்பப்படுகிறது. இதன் காரணமாகவே இக்கோயிலில் உள்ள முருகன் குழந்தை வேலப்பர் என்ற பெயரால் அழைக்கப்படுகிறார். போகர் என்னும் சித்தர் நவபாசாணக் கலவையைக் கொண்டு, இந்தச் சிலையை உருவாக்கிப் பிரதிஷ்டை செய்ததாகச் செவிவழிச் செய்திகள் கூறுகின்றன. ’நவ’ என்றால் ஒன்பது. ‘பாசாணம்’ என்றால் விஷம் என்று பொருள். நவபாசாணத்தைக் கொண்டு உருவாக்கப்படும் சிலைகள், நல்ல மருத்துவக் குணங்கள் கொண்டவையாக அறியப்படுகின்றன. இக்கோயிலின் தென்மேற்கு நடைபாதையில் போகருக்குத் தனிச் சந்நிதி அமைக்கப்பட்டுள்ளது. மற்றொரு செவிவழி வரலாற்றின் அடிப்படையில், போகரால் பிரதிஷ்டை செய்யப்பட்டு வழிபாட்டில் இருந்த சிலை பல நூறு ஆண்டுகள் கழித்து வழிபாடு இல்லாமல் புறக்கணிக்கப்பட்டுள்ளது. ஒரு சமயம், வேட்டையாட அவ்வழியே வந்த சேர மன்னரின் கனவில் முருகன் தோன்றித் தன்னை மீண்டும் பிரதிஷ்டை செய்து வழிபட வேண்டும் என்று கூறியுள்ளார். அவ்வாறே அந்த மன்னர் சிலையைக் கண்டெடுத்து இப்போதுள்ள கோவிலை உருவாக்கியதாகக் கூறப்படுகிறது.

இக்கோயிலில் இரண்டு அடுக்கு விமானத்துடன் கூடிய கருவறை, அந்தராலா முன் மண்டபம் மற்றும் பிற சந்நிதிகள் காணப்படுகின்றன.

குழந்தை வேலப்பர் கோயில் அருள்மிகு தண்டாயுதபாணி சுவாமி திருக்கோயிலின் துணைக்கோவிலாகத் திகழ்கிறது. குழந்தை வேலப்பர் கோயில் நுழைவாயிலில் அமைக்கப்பட்டுள்ள வளைவில் மகாவிஷ்ணு, விநாயகர், சிவன், பார்வதி, முருகன், சிம்மம் ஆகியோரின் சுதைச் சிற்பங்கள் காணப்படுகின்றன.

குழந்தை வேலப்பர் கோயில் கருவறையின் வெளிப்புறச் சுற்றில் மிக குறுகிய தேவகோட்டங்கள் காணப்படுகின்றன. இவற்றில் தெய்வச் சிற்பங்கள் வைக்கப்படவில்லை. இடை நாழியின் வெளிப்புறச் சுற்றில் நடராஜர் சிலை காணப்படுகிறது. கோயிலின் நுழைவாயிலில் கொடி மரம், பலிபீடம், வேல் மற்றும் மயிலின் சிற்பம் ஆகியவை காணப்படுகின்றன. இவ்விடத்தில் கல்லால் ஆன கொடி மரமும் பல நாகர் சிலைகளும் உள்ளன. குழந்தை வேலப்பர் கோயில் சுவரில் பல இடங்களில் மிகச் சிறிய புடைப்புச் சிற்பங்கள் காணப்படுகின்றன. இவை நுணுக்கமாகச் செதுக்கப்பட்டுள்ளன. பார்வதியுடன் நடராஜர் ரூபத்தில் உள்ள சிவன், யானை மேல் சவாரி செய்யும் மனிதன், தப்பு போன்ற இசைக்கருவியை இசைக்கும் ஆள், மரத்தடியில் வழிபடப்படும் சிவலிங்கம், மாடுகள், புலியுடன் சண்டையிடும் ஆள் போன்ற புடைப்புச் சிற்பங்கள் காணப்படுகின்றன.

In the inscriptions found in this temple, god Kuzhanthai Velappar is referred to by the name 'Thirukkai Velappar'.

This temple features a sanctum with a two-tiered vimana, along with an antharālā passage, a mukhamandapa, and several other shrines.

The Kuzhandhai Velappar Temple serves as a subsidiary shrine to the Dhandayuthapani Swamy Temple, Palani. At the entrance arch of the Kuzhandhai Velappar Temple, there are stucco sculptures of deities including Maha Vishnu, Vinayaka, Shiva, Parvati, Murugan, and a lion.

Around the exterior walls of the sanctum, there are small niches (devakoshtas) that do not contain any deity sculptures. On the outer wall of the intermediate passageway, a sculpture of Nataraja (the dancing form of Shiva) is present. At the temple entrance, one can see a flagstaff (dwajasthamba), an altar (balipeedam), a spear (vel), and a peacock sculpture. This temple also contains a stone flagstaff and many Nāgar (snake deity) sculptures.

On the temple walls, numerous small relief carvings can be found, intricately chiseled. These include sculptures of Shiva as Nataraja with Parvati, a man riding an elephant, a person playing a percussion instrument called the thappu, a Shiva lingam worshipped under a tree, cows, and a person fighting a tiger.