Пьер Абеляр родился в деревушке Пале близ Нанта, в провинции Бретань. Первоначально предназначен был для военной службы, но непреодолимая любознательность и в особенности стремление к схоластической диалектике побудили его посвятить себя изучению наук. В юном возрасте слушал лекции Иоанна Росцелина, основателя номинализма. В 1099 прибыл в Париж, чтобы учиться у представителя реализма — Гийома де Шампо, который привлекал слушателей со всех концов Европы.

Однако вскоре стал соперником и противником своего учителя: 1102 года Абеляр уже сам учил в Мелюне, Корбеле и Сен-Женевьеве, и число его учеников все более и более возрастало. В итоге, он приобрёл себе непримиримого врага в лице Гийома из Шампо. После того как последний был возведён в звание шалонского епископа, Абеляр в 1113 году принял управление училищем при церкви Богоматери и в это время достиг апогея своей славы. Он был учителем многих знаменитых впоследствии людей, из которых наиболее известны: Папа Римский Целестин II, Пётр Ломбардский и Арнольд Брешианский.

Абеляр был всеми признанный глава диалектиков и ясностью и красотой своего изложения превзошёл прочих учителей Парижа, тогдашнего средоточия философии и богословия. В то время в Париже жила 17-летняя племянница каноника Фульбера Элоиза, славившаяся красотой, умом и познаниями. Абеляр воспылал страстью к Элоизе, ответившей ему полной взаимностью. Благодаря Фульберу Абеляр стал учителем и домашним человеком у Элоизы, и оба влюблённых наслаждались полным счастьем, пока об этой связи не узнал Фульбер. Попытка последнего разлучить любовников привела к тому, что Абеляр увёз Элоизу в Бретань, где она родила ему сына и втайне повенчалась с ним, на что Фульбер дал потом своё согласие. Вскоре, однако, Элоиза вернулась в дом дяди и отказалась от брака, не желая препятствовать Абеляру в получении им духовных званий. Фульбер же из мести приказал оскопить Абеляра, дабы таким образом по каноническим законам ему преграждён был путь к высоким церковным должностям. После этого Абеляр удалился простым монахом в монастырь в Сен-Дени, а 18-летняя Элоиза постриглась в Аржантейле.

Недовольный монастырскими порядками, Абеляр по совету друзей возобновил чтение лекций в Мезонвильском приорстве; но враги вновь стали возбуждать против него преследования. Его сочинение «Introductio in theologiam» было предано в 1121 году сожжению на соборе в Суассоне, а он сам осуждён на заточение в монастыре св. Медарда. С трудом получив разрешение проживать вне монастырских стен, Абеляр покинул Сен-Дени.

Абеляр стал отшельником в Ножан-сюр-Сэн и в 1125 году выстроил себе в Ножане на Сене часовню и келью, названные Параклетом, где поселились после назначения его аббатом в Сен-Жильдас-де-Рюж в Бретани Элоиза и её благочестивые сестры по монашеству. Освобождённый, наконец, папой от затрудняемого ему кознями монахов управления монастырём, Абеляр наставшее время спокойствия посвятил пересмотру всех своих сочинений и преподаванию в Мон-Сен-Женевьев. Его противники с Бернаром Клервоским и Норбертом Ксантенским во главе достигли, наконец, того, что в 1141 г. на соборе в Сансе его учение было осуждено и приговор этот утверждён папой с приказанием подвергнуть Абеляра заточению. Однако аббату в Клюни, преподобному Петру Достопочтенному, удалось примирить Абеляра с его врагами и с папским престолом.

Абеляр удалился в Клюни, где умер в монастыре Сен-Марсель-сюр-Сон в 1142 году в Жак-Марине.

Тело Абеляра перевезли в Параклет, а затем похоронили на кладбище Пер-Лашез в Париже. Рядом с ним затем была похоронена его возлюбленная Элоиза, которая умерла в 1164 году.

История жизни Абеляра описана в его автобиографии Historia Calamitatum («История моих бедствий»).