1984年，他冒失地找到作曲家谷建芬，成为了当时很有名的谷建芬声乐培训班的成员。1986年，李杰就录制过个人专辑《热线我和你》，其中收录的臧天朔作曲的《心的祈祷》。后来成为中国流行音乐的经典，但很多人并不知道李杰是这首名作的首唱者。1988年，李杰在央视主办的第三届全国青年歌手电视大奖赛上夺得通俗唱法冠军，从此一举成名，当时的获奖曲目是《军礼》和《伸出你的手》。说起来，1988年正是西北风盛行的年代，歌坛热闹异常新人辈出，竞争激烈。李杰能得大奖，实属不易。更可贵的是，在那个“民通”当道的年代，李杰的唱法已经相当纯粹，声音既有质感，又有很强的表现力。当时的歌坛环境还不像现在这样市场化，歌手若能得到大奖，基本上就算是站住脚跟了，但在比赛后不久，李杰就几乎从公众的视野中消失了，在各类电视晚会中，观众很少能看到李杰的身影。他毅然告别五光十色的舞台，“隐居山林”选择了自己更加热衷的幕后工作——音乐创作。谁都知道走穴赚钱比搞创作轻松些，而当众歌手们在大江南北到处登台的时候，他已经开始了在侗族、苗族、傣族、藏族、彝族等少数民族聚居的地区游历与冒险。