선생은 1875년 10월 6일 경기도 용인시 기흥읍 농서리에서 출생하였다. 부친은 법부 참서관을 지낸 김태식(金泰植), 모친은 윤현숙(尹顯淑)으로 선생은 이들 사이의 외아들로 태어났다. 본명은 학소(學韶), 자는 순익(舜翼), 호는 오석, 본관은 경주이다.
어린 시절 선생은 8세 때부터 10여 년 동안 향리에서 한문을 배웠다. 1894년부터 1896년 초까지는 용인향교에서 개신 유학자인 동전(東田) 맹보순(孟輔淳)으로부터 한학을 수학하기도 하였다. 그리고 1898년 6월 대한제국 육군무관학교에 입학하여 사관교육을 받고, 1900년 1월 육군 참위로 임관하였다. 조국과 민족의 간성이 된 것이다.
1897년 대한제국 성립 이후 육군무관학교 교육은 자주 국방과 부국강병을 목표로 하는 근대식 군사교육이었고, 더구나 반일적 성향의 민족교육이었다. 때문에 박승환·이동휘·노백린 등에서도 보이듯이 이 시기 졸업생들은 반일 민족의식이 강했다. 선생이 뒤에 독립운동에 투신하여 활동하게 된 이유 가운데 하나도 이 시기 무관학교 교육에서 연유하는 바 클 것이다.
이후 선생은 대한제국 시위 보병 제1연대에서 부관 장교로 근무하였고, 1907년 8월 군대 해산 당시에는 육군 정위(현재 대위급)까지 진급하였다. 그러나 1907년 8월 일제에 의해 대한제국 군대가 강제 해산되자 비분강개하여 항일투쟁을 결심하고 고향으로 내려갔다. 이같이 선생이 항일 구국운동을 결심하게 되었다는 것은 당시의 시대적 상황과 정세에 대해 명철히 판단하고 있었다는 것을 말해주는 것이다. 이는 선생이 남다른 국제적 감각과 의분이 넘치는 강직한 성격의 소유자였음을 말해주는 것이라고 할 수 있다.
선생이 고향에 내려간 뒤 얼마 안 있어 경술국치를 당하여 대한제국은 일제의 완전 식민지가 되었다. 이에 선생은 민족종교인 대종교에 입교하여 민족적 기개를 지키며 구국의 길을 모색하여 갔다. 그리하여 1914년에는 대종교 참교(參敎)가 되었고, 1917년에는 지교(知敎)에 이르렀던 것이다.
이처럼 민족적 절의와 기개를 잃지 않았던 선생은 1919년 3·1운동이 일어나자 고향인 용인에서 만세시위운동을 주도한 뒤 일경의 검거망을 피해 중국 만주로 망명하였다. 서간도 유하현으로 망명한 선생은 만주지역에서 대종교 교도들이 조직하여 활동하던 단체를 찾아 나섰다. 이때 선생은 1919년 3월 무송현에 근거지를 두고 서간도 각지에 지단을 설치하여 활동하고 있던 흥업단을 찾아간 것으로 이해된다.
흥업단은 농민과 군인이 따로 없이 낮에는 밭을 갈고 밤에는 군사 훈련하는 병농겸행(兵農兼行)의 방책을 취하여 동포사회의 안녕과 질서를 확립하는데 공헌하던 단체이다. 이 조직은 부단장인 선생을 비롯하여 단장에 김호, 총무 윤세복, 재무 이원일, 경호 오제동, 교섭 전성규(이현익) 등으로 모두가 대종교 교도였다. 만주 각 현에 지단·지부 조직을 두고 있던 흥업단의 부단장 직책을 맡았다면, 선생은 대종교 내에서 위치가 상당히 높았고, 동시에 이후의 행적과 연계하여 보면 실질적으로 단체를 이끌어갔던 인물이었음을 알 수 있다.