Родился 13 июня в селе Кагарлык в семье матроса. Семья переезжает в Ленинград, где их застает война. Отец служит на Севере. Зиму тринадцатилетний мальчик прожил в блокадном Ленинграде, в 1942 был эвакуирован. Решил пробираться к отцу на Северный флот, но отец уже был на передовой (погиб в боях за Сталинград, будучи комиссаром батальона морской пехоты).
С пятнадцати лет будущий писатель служит на Северном флоте, юнгой на корабле, в 16 лет становится командиром боевого поста, позже — штурманским электриком.
После войны, не имея высшего образования, занимается самообразованием, решив посвятить себя литературной деятельности. Ищет свой путь в течение нескольких лет: пишет стихи, рассказы, обращаясь к истории Севера, затем к истории России. Работает без выходных и отпусков, как на войне.
Постепенно становится обладателем уникальной библиотеки (11 тысяч томов), собирая необходимые материалы по истории государств. Начинает работать над первым историческим романом — «Баязет», вышедшим в 1961. Затем последовали романы: «Париж на три часа» (1962); «На задворках великой империи» (1964); «Из тупика» (1968); «Реквием каравану PQ-17″.
В 1971 в журнале «Звезда» был опубликован роман Пикуля «Пером и шпагой». Все его книги пользовались огромным успехом, популярность его была необыкновенной. Работоспособность Пикуля была уникальна.
В 1974 увидел свет роман «Слово и дело». В 1980-е появляются романы: «Три возраста Окини-сан», «Фаворит», «Честь имею».
В 1983 пишет «Миниатюры», своеобразные маленькие романы.
Титанический труд был прерван смертью, наступившей 17 июля 1990.