Сын окольничего Андрея Васильевича Толстого и Соломониды Милославской (дальняя родственница царицы Марии Ильиничны Милославской). Жена — Соломонида Тимофеевна Дубровская (1645—1729). Служил с 1682 года при дворе стольником; 15 мая этого года, в день стрелецкого бунта, энергично действовал заодно с дядей И. М. Милославским и поднимал стрельцов, крича, что «Нарышкины задушили царевича Ивана».
Падение царевны Софьи заставило Толстого резко переменить фронт и перейти на сторону царя Петра, но последний долго относился к Толстому очень сдержанно; недоверчивость царя не поколебали и военные заслуги Толстого во втором Азовском походе (1696). В 1697 году царь посылал «волонтёров» в заграничное учение, и Толстой, будучи уже в зрелых годах, сам вызвался ехать туда для изучения морского дела. Два года, проведённых в Италии, сблизили Толстого с западноевропейской культурой.
Дипломатическая карьера
В конце 1701 года был назначен посланником в Константинополь, став первым Российским послом-резидентом. Пост имел важное значение и был сопряжён со значительными трудностями и опасностями (во время осложнений 1710—1713 Толстой дважды сидел в Семибашенном замке), кроме того, отдалял Толстого от царского двора.
Вернувшись в Россию в 1714 году, расположил к себе всесильного А. Д. Меншикова и был назначен сенатором.
В 1715—1719 годах исполнял дипломатические поручения в сфере отношений с Данией, Англией и Пруссией.
Арест царевича Алексея. Тайная канцелярия
В 1717 году Толстой оказал царю важную услугу, навсегда упрочившую его положение: посланный в Неаполь, где в то время скрывался царевич Алексей со своей любовницей Евфросиньей, Толстой при содействии последней ловко обошёл царевича и путём угроз и ложных обещаний склонил его к возвращению в Россию. За деятельное участие в следствии и суде над царевичем Толстой был награждён поместьями и поставлен во главе Тайной канцелярии, у которой в это время было особенно много работы вследствие толков и волнений, вызванных в народе судьбой царевича Алексея (1718). С этих пор Толстой становится одним из самых близких и доверенных лиц государя.
Борьба партий при Екатерине I. Ссылка и смерть
Дело царевича Алексея сблизило его с императрицей Екатериной, в день коронования которой он получил титул графа. После смерти Петра Толстой вместе с Меншиковым энергично содействовал воцарению Екатерины; он знал, что успех другого кандидата, малолетнего великого князя Петра Алексеевича, положил бы конец его карьере (поскольку он участвовал в аресте и пытках его отца царевича Алексея). В 1726 году Толстой участвовал в переговорах о заключении русско-австрийского союза.
Однако ни высокое положение, занятое Толстым при дворе (он был одним из 6 членов вновь учрежденного Верховного тайного совета), ни доверие императрицы, ни изворотливость и опытность в интригах не уберегли Толстого от падения. Долго действуя рука об руку с Меншиковым, Толстой разошёлся с ним по вопросу о преемнике Екатерины.
План австрийского посланника Рабутина возвести после Екатерины на престол Петра Алексеевича, женив его на дочери Меншикова, получил одобрение последнего. Но Толстой, опасаясь, что воцарение Петра II будет грозить жизнью ему и всей его семье, стоял за возведение на престол одной из дочерей Петра. Меншиков одержал верх, и 82-летний Толстой поплатился ссылкой в Соловецкий монастырь, где вскоре умер. Вместе с Петром Андреевичем был сослан и погиб один из его сыновей — Иван. При Елизавете Петровне потомству Толстого был возвращён графский титул.
