Детство провёл в деревне, где окончил начальную школу. Затем он учился в Москве, в школе-семилетке. Окончил полиграфическую фабрично-заводскую школу (1931). Работал в типографии. По настоянию друга, журналиста Всеволода Иорданского, принёс свои стихи в редакцию молодёжного журнала «Рост», но перепутал двери и попал в журнал «Октябрь», где был принят своим кумиром, поэтом Михаилом Светловым, который дал молодому поэту зелёную улицу. По иронии судьбы, в один из первых же рабочих дней в типографии ему доверили набирать собственные же стихи.
Занимался в литературных кружках при газете «Комсомольская правда» и журнале «Огонёк». Член СП СССР с 1934.
После смерти Кирова в 1934 был репрессирован и отбыл 3-летнее заключение. В эти же годы Большого террора два близких друга Я. В. Смелякова — поэты Павел Васильев и Борис Корнилов — были расстреляны.
С 1937 после освобождения — ответственный секретарь газеты «Дзержинец» трудкоммуны имени Дзержинского (Люберцы). В 1939 восстановлен в СП СССР, ответственный инструктор секции прозы.
Участник Великой Отечественной войны. С июня по ноябрь 1941 был рядовым на Северном и Карельском фронтах. Попал в окружение, находился в финском плену, в 1944 возвратился из плена. В 1945 попал под Сталиногорск (ныне г. Новомосковск Тульской области) в проверочно-фильтрационный спецлагерь № 283 (ПФЛ № 283), где его несколько лет проверяли. Специальные (фильтрационные) лагеря были созданы решением ГКО в последние дни 1941 с целью проверки военнослужащих РККА, бывших в плену, окружении или проживавших на оккупированной противником территории. Порядок прохождения госпроверки («фильтрации») определялся Приказом наркома внутренних дел СССР № 001735 от 28 декабря 1941 а, в соответствии с которым военнослужащие направлялись в специальные лагеря, где временно получали статус «бывших» военнослужащих или «спецконтингента».
Срок отбывал в лагерном отделении № 22 ПФЛ № 283 при шахте № 19 треста «Красноармейскуголь». Шахта находилась между современными городами Донской и Северо-Задонск (с 2005 микрорайон г. Донского). На шахте работал банщиком, затем учётчиком.
Усилиями журналистов П. В. Поддубного и С. Я. Позднякова поэт был освобождён и работал ответственным секретарем газеты «Сталиногорская правда», руководил литературным объединением при ней. Вместе с ним в лагере находился брат Александра Твардовского, Иван. После лагеря Я. Смелякову въезд в Москву был запрещён. В Москву ездил украдкой, ни в коем случае не ночевал. Благодаря Константину Симонову, замолвившему за него слово, ему удалось вновь вернуться к писательской деятельности. В 1948 вышла книга «Кремлёвские ели».
В 1951 по доносу двух поэтов вновь арестован и отправлен в заполярную Инту. Отбывал срок до 1955, возвратившись домой по амнистии, ещё не реабилитированный. Реабилитирован в 1956.
Член Правления СП СССР с 1967, Правления СП РСФСР с 1970. Председатель поэтической секции СП СССР.
Рано начал писать стихи. Учась в ФЗУ (будучи «фабзайцем»), публиковал стихи в цеховой стенгазете. Писал также обозрения для агитбригады. Дебютировал в печати в 1931. Первый сборник стихов «Работа и любовь» (1932) сам набирал в типографии как профессиональный наборщик. Как и в следующем сборнике «Стихи», воспевал новый быт, ударный труд.
В стихах использовал разговорные ритмы и интонации, прибегал к своеобразному сочетанию лирики и юмора. В сборниках послевоенных лет («Кремлёвские ели», 1948; «Избранные стихи», 1957) и поэме «Строгая любовь» (1956), посвящённой молодёжи 1920-х, обнаруживается тяготение к простоте и ясности стиха, монументальности изображения и социально-историческому осмыслению жизни. Поэма, частично написанная ещё в лагере, получила широкое признание.
В произведениях позднего периода эти тенденции получили наиболее полное развитие. Одной из главных тем стала тема преемственности поколений. Посмертно изданы «Моё поколение» (1973) и «Служба времени» (1975).
Всего написал 112 произведений. Автор публицистических и критических статей; занимался переводами с украинского, белорусского и других языков.
Ярослав Смеляков умер 27 ноября 1972 года. Похоронен в Москве на Новодевичьем кладбище (участок № 7).
Награды и премии:
три ордена Трудового Красного Знамени (в том числе 29.01.1963; 28.10.1967)
Государственная премия СССР (1967) — за цикл стихов «День России»
премия Ленинского комсомола (1968) — за комсомольскую поэму «Молодые люди» и стихи, воспевающие любовь советской молодёжи к Родине, партии, народу
почётная грамота Президиума Верховного Совета Азербайджанской ССР
почётная грамота Президиума Верховного Совета Молдавской ССР