Il a été repêché par les Rangers de New York lors du repêchage d'entrée dans la LNH 1991, à la 15^e position du premier tour. Il est le premier joueur russe à avoir été repêché au premier tour.

Il fut un joueur clé de l'organisation des Rangers, notamment lors des séries éliminatoires de 1994 alors qu'il les aida à remporter la Coupe Stanley. Il porta également les couleurs des Penguins de Pittsburgh et celles de l'Équipe nationale russe. Alexei Kovalev est considéré par plusieurs comme étant, avec Jaromír Jagr, le joueur possédant le plus de talent naturel pour manier la rondelle dans la LNH. Joueur parfois inconstant, il a la réputation d'être un joueur dominant en séries et dans les compétitions internationales.

En 2000-2001, Kovalev connait sa meilleure saison en carrière avec 95 points en 79 rencontres. Dans l'uniforme des Penguins de Pittsburgh, il compose, avec Robert Lang et Martin Straka, l'un des meilleurs trios de la ligue. Il patine de plus aux côtés de Jaromir Jagr et de Mario Lemieux.

Le 20 décembre 2005, Kovalev marque son 300ème but dans la LNH, et récolte son 700ème point. Ce soir là, il dit: « L'énergie et les sensations que l'on ressent dans cet aréna et dans cette ville expliquent pourquoi j'ai décidé de revenir à Montréal. Ils m'ont tellement supporté depuis mon arrivée, je ne peux dire autre chose que la foule est incroyable. »

Le 26 octobre 2007, Kovalev joue son 1000ème match dans la LNH, et récolte son 800ème point à l'aide un lancer sur réception dans la partie supérieure du filet de Cam Ward, le gardien des Hurricanes de la Caroline et c'est Guillaume Latendresse qui ramassera la rondelle de ce 800ième point.

Le 30 décembre 2007, l'Artiste porte le "C" de capitaine du Canadiens de Montréal par intérim, car Saku Koivu n'a pas pris part au match contre les Rangers de New-York à cause d'un virus et pendant ce match, les jeunes du Canadien ont eu un excès de confiance grâce à Kovalev.

3 janvier 2008, Kovalev marque son 350ème but dans la LNH dans un match opposant le Canadien de Montréal au Lightning de Tampa Bay. Des passes sont attribuées à Michael Ryder ainsi qu'à Mark Streit.

6 mars 2008, Kovalev obtient sa 500ème mention d'assistance dans la LNH dans un match opposant le Canadiens de Montréal aux Coyotes de Phoenix dans une victoire du Tricolore de 4 à 2. Il récoltera deux autres points (2 passes).

17 mars 2008, Kovalev lance son nouveau coffret de deux DVD. Sur le premier , Kovalev offre des trucs aux jeunes. Sur le second, on y voit la vie de Kovy hors de la glace. Le deuxieme disque a été tourné en Russie et a Montréal.

ces récompense: