油泵有直列式、分配式和单体式三大类，不管哪一类，油泵的关键在于一个“泵”字。泵油的数量、压力和时间都要非常精确，并且按照负荷自动调节。油泵是一个加工精细，制造工艺复杂的部件，国内外一般汽车柴油机的油泵都是由世界上少数几个专业厂生产的。
油泵要有动力源才能运转，它下部的凸轮轴是由发动机曲轴齿轮带动的。喷油泵的关键零件是柱塞，如果以医院常见的注射器做比喻，那么可移动的塞子就称为柱塞，针筒就称为柱塞套，假设在针筒里面安装一只弹簧顶着柱塞一端，柱塞另一端接触凸轮轴，当凸轮轴回转一周，柱塞就会在柱塞套内上下移动一次，这就是喷油泵柱塞的基本运动方式。
柱塞与柱塞套是加工十分精密的配套件。柱塞身上有一道倾斜槽，柱塞套上有小孔称为吸入口，这个吸入口充满着柴油，当柱塞倾斜槽对着吸入口时，柴油进入柱塞套内，柱塞被凸轮轴顶至一定高度时，柱塞倾斜槽与吸入口错开，吸入口被封闭，使柴油既不能吸入也不能被压出，柱塞继续上升时压迫柴油，柴油压力到一定程度就会顶开单向阀蜂拥而出进入喷油嘴，再从喷油嘴进入气缸燃烧室。柱塞每次排出一定量的柴油，只有一部分喷入气缸，其余部分则由回油孔泄走，并利用增减泄走的回油量来调节喷油量。
当柱塞上升至“上上点”后往下移动，柱塞倾斜槽又会与吸入口相遇，柴油又被吸进柱塞套里面，再次重复上述的动作。直列式喷油泵每一组柱塞系统对应一个气缸，4个气缸就有4组柱塞系统，因此体积比较大，多用在中型以上汽车。例如公共汽车和大货车上的柴油机一般用直列式喷油泵。