En juillet 1924 il deviendra le secrétaire général du jeune Parti Communiste Français (SFIC) après être entré à son Comité Central quelques mois auparavant.
À l’automne 1933, Semard renoue avec le syndicalisme, et devient secrétaire général de la Fédération des cheminots CGTU le 26 juin 1934, et joue un rôle central dans la réunification des fédérations de cheminots.
Lors du congrès de fusion entre la CGT et la CGTU, le 24 novembre 1935, il est élu au secrétariat de la fédération réunifiée comme secrétaire général, aux côtés de Jarrigion qui représentait les ex-confédérés.
En 1935, est élu Conseiller Général de Drancy.
En juin 1936, il fait partie de la délégation syndicale qui rencontre le nouveau président du conseil Léon Blum (le 1er ministre) et les ministres concernés pour réclamer l’attibution aux cheminots de 21 jours de congé, la semaine de 40 heures, les conventions collectives et la réintégration des révoqués de la grande grève des cheminots de 1920.Au nom de la CGT, Semard se prononce en faveur de la nationalisation des chemins de fer.

Lorsque la SNCF est créée, il devient l’un des quatre administrateurs salariés issus de la représentation syndicale. Malgré ses multiples responsabilités il se rendra souvent sur la frontière espagnole pour s’occuper de l’acheminement de l’aide matérielle à la République espagnole.
Il est arrêté à Loches le 18 octobre 1939 par la police française, sous l’inculpation d’infraction au décret du 26 septembre 1939 qui interdisait le Parti communiste Français.
Il fut alors interné successivement à Fresnes, puis à la prison de la Santé à Paris, puis à la prison de Bourges.
Au début 1942, Pierre Semard, bien que sa levée d’écrou ait été prononcée, est transféré de Bourges au camp d’internement de Gaillon (Eure) en application des décrets adoptés le 18 novembre 1939 par le gouvernement Daladier. Le 6 mars, on l’enverra à la prison d’Évreux à la demande des autorités allemandes. Il est fusillé comme otage le lendemain par les nazis.
Pierre Sémard était un homme libre, épris de liberté.