并行程序在多处理机上运行需要用控制机构管理并行任务的派生和汇合。并行任务的派生就是使一个任务在执行之后A，可派生出与之并行的另一个或多个任务，分配到不同的处理机上去运行。待这些任务在先后不同时刻全部完成之后B，再汇合运行后继的新任务。后继的新任务如果又是可并行执行的多个任务，又可以再派生。在多处理机上，让派生和汇合反复地进行C，直至整个程序全部结束运行为止。