Hola, imagino despues de tanto tiempo ya lo lograste. pero por si llega alguien nuevo con el mismo problema, de la manera en que lo logre fue la siguente:
a) Antes que nada de aqui saque la info, por si quieres pasarte a el manual de godot: https://docs.godotengine.org/en/3.2/getting_started/workflow/export/changing_application_icon_for_windows.html#changing-application-icon-for-windows
1- Hice mi icono como una imagen normal, de como 1080x1080, pero creo que no importa.
2- La hice .ico con Toycon, una aplicación que convierte imagenes a iconos.
3- Escuche musica en frances (supongo que es opcional).
4-Busque información del problema en internet (a).
5- Puse el icono en todos los lugares donde pudiera ponerlo, en export/aplication/icon, en settings of project/aplication/config/icon, y sustitui el icono que pone godot dentro de los archivos del proyecto por el que hice.
6-Descargue RCEDIT v.1.1.1 y le indique a godot donde se descargo, en config of editor/export/window/Rcedit.
7- Justo antes de exportar, en TECLA DE WINDOWS+R o CMD puse: ie4uinit.exe -ClearIconCache
8-Exporte y ahi estaba mi icono personalizado.
Espero haberte ayudado, seas quien seas que lea esto.