Hola,
El botón de editar no lo debes eliminar ya que solo se muestra mientras estas logeado como administrador. Si sales de este modo puedes verificar que este botón no aparece.
Luego para ocultar la opción que dice creado por WordPress tienes que ir a la administración de WordPress => apariencia => personalizar => CSS adicional e insertar el siguiente código:
footer[role="contentinfo"] a { color: #686868; display: none; }