Jelovo Brdo spada u značajnija naselja na kalesijskom području, sa elementima urbane tradicije od davnina. Sastoji se iz dva dijela: centralni dio koji nosi od davnina naziv Mahala, i Bajre (Barje), istočni dio naselja. U prilog urbanoj tradiciji je i postojanje dućana i hanova u naselju. U novije vrijeme može se posmatrati kao posebni dio Jančića brijeg, kao zaselak Jelovog Brda.
Naselje se nalazi na južnim obroncima brda Kamenice, koji se tu spuštaju prema Maloj Spreči. O porijeklu naziva naselja nema pouzdanih saznanja. Pošto na nadmorskoj visini na kojoj se nalazi Jelovo Brdo ne uspijeva drvo jela, malo je vjerovatno da je naziv naselja po tome. Vjerovatnijim izgleda da naziv ima veze sa riječi “jelah”, tim prije što se i danas u Jelovom Brdu očuvao toponim Jelah. Jelah je inače naziv za područje obraslo drvetom johe (johljak, johovac).
U historijskim kartama Jelovo Brdo se prvi put javlja početkom 19. vijeka, kao “Jelobrda” (karta Ilirije Domenica Paganija iz 1813.godine). U osmanskom popisu iz 1850/51.godine navedeno je u okviru naselja odnosno džemata Gojčin. U osmanskom defteru za selo (džemat) Gojčin navedene su slijedeće familije iz Jelovog Brda: Mulabećirovići i Bećirovići, Kulovići, Dautbašići, Mulaomerovići, Osmanbašići, Sinanovići, Bajraktarevići i Rahmanovići.
Prema prvom austrougarskom popisu iz 1879. godine mjesto se nalazilo u okviru opštine odnosno džemata Gojčin, kotar Vlasenica, a rezultati popisa stanovništva su: 26 kuća sa 135 stanovnika muslimanske vjere. Zanimljivo je da su Jelovo Brdo i Gojčin kroz cijeli osmanski i austrougarski period, a zatim i u periodu kraljevine Jugoslavije, zajedno sa Šeherom i okolnim područjem pripadali jednoj administrativnoj jedinici: nahiji (zatim kazi i kadiluku) Birče i kotaru (srezu) Vlasenica.
Početkom austrougarskog perioda (tačnije 1882.godine) u Jelovom Brdu su evidentirani slijedeći vlasnici kuća: Sinanović Mehmed, Rahmanović Ibrahim, Rahmanović Mustafa, Kulović Smail, Kulović Hasan, Kulović Salko, Bećirović Ramo, Dautbašić Bego, Osmanbašić (Osmanović) Salko, Mehić Rašid, Bećirović Omer, Bećirović Suljo, Omerović (Mulaomerović) Ibro, Bećirović Osman, Šehić Nakić, Vokić Sulejman, Huskić Pašo i Huskić Ahmet.
Jelovo Brdo je bilo zanimljivo za doseljavanje po raznim osnovama. Tako su početkom prošlog vijeka u Jelovo Brdo doselili Ćivići iz Sajtovića i Ušćuplići iz unutrašnjosti Bosne, između dva svjetska rata Buljugići iz Međaša i Živčići iz Miljanovaca, poslije II svjetskog rata Ramići iz Šehera i Andelići iz Mičivoda kod Sokoca.
U Mahali, dijelu naselja oko džamije, od starina su živjeli : Bećirovići, Kulovići, Dautbašići, Sinanovići, Rahmanovići i Mehići, kasnije i Ušćuplići, Živčići i Andelići. U zaseoku Bajre, istočno od Mahale žive Šehići, Mulaomerovići, Huskići, Buljugići i Ćivići. U Jančića brijegu, koji se u nekim popisima navodi kao zaselak Jelovog Brda, živi hrišćansko stanovništvo, odnosno familije: Savići, Garići i Bećarevići.
Iz knjige: Šeher kod Kalesije (sa okolinom), autora Dževada Tosunbegovića