생졸년 미상. 조선 전기의 문신. 본관은 김해(金海). 자는 무업(茂業).

증조부는 김건(金健)이고, 조부는 김태석(金太石)이며, 부친은 병절교위(秉節校尉) 김인손(金仁孫)이다.

1528년(중종 23) 무자식년사마시(戊子式年司馬試)에 생원 3등‧진사 2등으로 합격하고, 1531년(중종 26) 신묘식년문과(辛卯式年文科) 병과(丙科) 20등으로 급제하여 원주목사(原州牧使)를 역임했다. 고양(高陽) 출신으로 학문에 전념하면서 곤궁하게 살았다.

천성이 지극히 효성스러웠는데 모친이 서울에서 병으로 죽자 관을 받들고 선산에 장사지내려고 돌아오다가 신원(新院)에 이르러 상여의 수레바퀴가 부러졌다. 이 때 김언겸이 어찌할 바를 몰라 길가에서 울부짖고 있으니, 인근 마을에 사는 백성들이 불쌍히 여겨 다투어 와서 부역하여 길가의 높고 건조한 곳에 임시 매장하였다. 당시 나라의 능을 수개(修改)하는 일이 있어 지관이 지나가다가 말 위에서 돌아보고 말하기를, “지금 이 새 무덤은 누가 점지했는지 참 길한 땅이다.” 하였다. 이에 김언겸이 그 말을 듣고 뒤쫓아가서 말 앞에서 절하고 자기의 사정을 모두 말하는데, 말을 따라 눈물이 흘러내렸다. 지관이 측은하게 여겨서 이내 산의 형국을 두루 보고 말하기를, “용호(龍虎)가 너무 가깝고, 명당(明堂)이 좁아 비록 대지는 아니지만 산의 형세가 멀리서 와서 스스로 격국(格局)을 이루었으니 마땅히 대과에 급제할 귀한 자손이 연속해 2대를 나올 것이다.” 하였다.

과연 3년 뒤에 김언겸은 과거에 급제하여 큰 고을의 수령을 역임하였는데 모두 명성과 치적이 있었고 80수를 누렸다. 또 아들 김현성(金玄成)도 1561년(명종 16) 신유식년사마시(辛酉式年司馬試)에 진사 3등으로 합격하고, 1564년(명종 19) 갑자식년문과(甲子式年文科) 병과 1등으로 급제하였다. 벼슬이 교서관정자(校書館正字)를 거쳐 봉상시주부(奉常寺主簿), 양주목사(楊州牧使), 사재감정(司宰監正) 등을 역임하였으니, 그 지관의 말이 징험되었다고 세간에 회자되었다.