Il fit triompher, contre le projet d'un simple organisme consultatif et de solidarité, la conception d'un internationalisme de direction politique, chargé de mettre au point, à partir de l'expérience des situations de luttes locales, une tactique unique pour la lutte prolétarienne de la classe ouvrière dans les divers États industrialisés. Après y avoir imposé plusieurs années durant la ligne d'un «socialisme scientifique», la position de Marx fut d'abord affaiblie par le retrait des trade-unionistes anglais du Conseil général attachés à une transition pacifique vers le socialisme et l'influence croissante de Bakounine et des anarchistes.
Lorsque la Commune, à laquelle avaient adhéré des membres de la Ire Internationale, fut anéantie, l'Internationale déclina et Karl Marx décida de déplacer son quartier général aux États-Unis. L'AIT y sera dissoute en 1876.
Les huit dernières années de sa vie furent marquées par une lutte incessante contre des douleurs physiques qui l'empêchèrent de mener à bien ses travaux politiques. Au cours de cette période, Marx entretint des rapports très étroits avec les révolutionnaires russes de la tendance «Volonté du peuple» et évoqua la possibilité d'une transition originale au socialisme, sans passer par le stade industriel avancé.
Les manuscrits et les notes trouvés après sa mort à Londres le 14 mars 1883 révélèrent qu'il avait projeté d'écrire un quatrième volume du Capital sur l'histoire des doctrines économiques. Ces fragments de notes furent édités par le socialiste allemand Karl Johann Kautsky et publiés sous le titre les Théories de la plus-value (4 vol., 1905-1910). On trouva d'autres travaux, envisagés mais non réalisés par Karl Marx, sur les sciences naturelles, des études mathématiques, des études sur l'application des mathématiques aux problèmes économiques afin de réfuter le malthusianisme et d'autres encore sur les aspects historiques des différents développements technologiques.
L'influence de Karl Marx sur ses contemporains ne fut pas très grande de son vivant, mais elle s'accrut considérablement après sa mort avec l'importance que prit le mouvement ouvrier. Comme praticien de la politique, Marx ne rencontra guère de succès. De même comme théoricien, il n'a exercé une influence sur le mouvement ouvrier que pendant la dernière partie de sa vie. Sa pensée n'a pénétré de larges cercles que sous la forme de slogans superficiels et elle a été mélangée avec d'autres courants intellectuels scientistes de l'époque comme le darwinisme ou le matérialisme mécaniste.
Marx conçut sa théorie comme une synthèse de la philosophie allemande (Hegel), de l'économie politique anglaise (Adam Smith, Ricardo) et des théories socialistes françaises, mêlant en permanence la théorie et la pratique, l'action politique et la réflexion intellectuelle. Ses idées et théories prirent le nom de marxisme, ou socialisme scientifique, qui constitue l'un des principaux courants de la pensée politique contemporaine. Ses analyses sur l'économie capitaliste alliées à ses théories sur le matérialisme historique, la lutte des classes et la plus-value sont devenues le fondement des doctrines socialistes au XXe siècle. En regard de son action révolutionnaire, ses théories sur la nature de l'État capitaliste, la route vers le pouvoir et la dictature du prolétariat sont d'une importance capitale. Ces doctrines, revues et complétées par la plupart des socialistes après sa mort, furent reprises par Lénine puis, développées et appliquées, constituèrent le noyau de la théorie et de la pratique du bolchévisme et de la IIIe Internationale. Atténuées, elles influencèrent également profondément le courant du socialisme démocratique et réformiste au XXe siècle, en particulier le socialisme français jusqu'au début des années 1980.