Родился в Елисаветграде, уездном городе Херсонской губернии.

В 1923 году переезжает в Москву, учится на Высших литературных курсах. Работал в газете, на радио. С 1933 начал заниматься художественным переводом.

В 1941 по заключению медкомиссии мобилизации в действующую армию не подлежал, но, написав более десятка писем, добивается отправки на фронт.

С начала 1942 по конец 1943 участвует в боевых действиях, работая военным корреспондентом. Награжден орденом Красного Знамени. После тяжелого ранения комиссован.

В 1946 в доме Г.А.Шенгели поэт знакомится с Анной Ахматовой. До момента знакомства они уже были связаны общей судьбой — постановление партии, направленное в

основном против Ахматовой и Зощенко, жестоко ударило и по Тарковскому, лишив и его возможности публиковаться. Дружба поэтов продлилась до кончины Ахматовой.

В 1962, когда поэту было 55 лет, вышла его первая поэтическая книга "Перед снегом". В конце августа того же года его сын кинорежиссёр Андрей Тарковский получил Гран-при

Венецианского кинофестиваля. Таким образом, отец и сын дебютировали в одном году.

При жизни вышло десять сборников стихов поэта.

Награждён в 1987 году орденом Трудового Красного Знамени.

В 1989 Арсению Тарковскому посмертно присуждена Государственная премия СССР.

На стихи поэта пишут многие композиторы.