Eliminar borde de los botones

Añadir

padding: 0;
border: none;
background: none;

a tus botones.

Demostarción:

https://jsfiddle.net/Vestride/dkr9b/

Esto parece funcionar perfectamente para mí.

button:focus { outline: none; }

Estaba teniendo el mismo problema y aunque estaba estilizando mi botón en CSS, nunca recogía el border: none, pero lo que funcionó fue agregar un estilo directamente en el botón de entrada así:

input[type="button"] {
borde: ninguno;
outline: none;
}

Para eliminar el 'borde azul' predeterminado del botón al enfocarse en él:

En Html:

Nuevo botón...

Y en Css

button.nuevo-boton:focus {
    outline: none;
}

¡Espero que te ayude! :)