¿Y quién debe expulsar a un árbitro?

Todos sabemos que los jueces imparten justicia dentro del campo de juego. Ellos son los que deben tomar decisiones en pocos segundos y llevar adelante cada encuentro deportivo. Ahora bien, cuando un juez comete una falta muy grave en contra de un jugador en pleno encuentro ¿Quién es el que tiene el poder para expulsarlo?.