Родился 29 декабря (10 января н.с.) в городе Николаевске Самарской губернии в семье помещика. Был воспитан отчимом А. Бостромом, либералом и наследником «шестидесятников», к которому ушла мать А. Толстого, женщина образованная и не чуждая писательству. Детские годы прошли на хуторе Сосновка, принадлежавшем отчиму.

Первоначальное образование получил дома под руководством приглашенного учителя. В 1897 семья переезжает в Самару, где будущий писатель поступает в реальное училище. Окончив его в 1901, едет в Петербург, чтобы продолжать образование. Поступает на отделение механики Технологического института. К этому времени относятся его первые стихи, не свободные от подражания Некрасову и Надсону.

В 1907, незадолго до защиты диплома, оставил институт, решив посвятить себя литературному труду. В 1908 написал книгу стихов «За синими реками» — результат первого знакомства с русским фольклором. К этому времени относятся и первые прозаические опыты — «Сорочьи сказки».

На раннее творчество Толстого оказал влияние М. Волошин, который в те годы был с ним дружен. В 1909 написал первую повесть «Неделя в Тургеневе», вошедшую позднее в книгу «Заволжье». Затем вышли в свет два романа — «Чудаки» и «Хромой барин». Произведения Толстого привлекли внимание М. Горького, который увидел в нем «…писателя, несомненно крупного, сильного…» Критика тоже благосклонно оценила его первые публикации.

Первая мировая война меняет планы Толстого. Как военный корреспондент от «Русских ведомостей» он находится на фронтах, побывал в Англии и Франции. Написал ряд очерков и рассказов о войне (рассказы «На горе», 1915; «Под водой», «Прекрасная дама», 1916). В годы войны обратился к драматургии — комедии «Нечистая сила» и «Касатка» (1916).

События Февральской революции вызвали его интерес к проблемам русской государственности, что побудило его заняться историей петровских времен. Много времени уделял работе с архивами, стремясь открыть подлинную действительность того времени, образы Петра 1 и его окружения.

Октябрьскую революцию Толстой воспринял враждебно. Продолжает работать — в 1918 в его творчестве появляется историческая тема (рассказы «Наваждение», «День Петра»).

Осенью 1918 уезжает с семьей в Одессу, оттуда — в Париж. Становится эмигрантом. О своей жизни в тот период Толстой напишет: «Жизнь в эмиграции была самым тяжелым периодом моей жизни. Там я понял, что значит быть парием, человеком, оторванным от родины… не нужным никому…» В 1920 была написана повесть «Детство Никиты». В 1921 «перекочевал» в Берлин и вошел в сменовеховскую группу «Накануне» (общественно-политическое движение русской эмигрантской интеллигенции, отказавшейся от борьбы с Советской властью и перешедшей к ее фактическому признанию). Бывшие друзья отвернулись от А.Толстого. В 1922 в Берлин приехал М.Горький, с которым установились дружеские отношения. В берлинский период были написаны: роман «Аэлита», повести «Черная пятница» и «Рукопись, найденная под кроватью».

В 1923 Толстой возвращается в СССР. Среди написанного после возвращения выделяется прежде всего трилогия «Хождение по мукам» («Сестры», «Восемнадцатый год», 1927 — 28; «Хмурое утро», 1940 — 41). К трилогии тематически примыкает повесть «Хлеб» (1937).

В открытом гостеприимном доме А.Толстого собирались интересные, талантливые люди — писатели, актеры, музыканты.

Значительным достижением А.Толстого стал его исторический роман «Петр Первый», над которым он работал в течение шестнадцати лет.

Во время Отечественной войны часто выступал со статьями, очерками, рассказами, героями которых были простые люди, проявившие себя в тяжелых испытаниях войны. В годы войны создает драматическую дилогию «Иван Грозный» (1941 — 43).

Тяжелая болезнь не дала ему дожить до Дня Победы. Он умер 23 февраля 1945 в Москве.