If there is one sign that AI causes more trouble than it is worth, it is OpenAI confirms that there have been more than twenty cyberattacks, all created through ChatGPT. The report confirms that generative AI was used to carry out phishing attacks, debug and develop malware, and perform other malicious activities.

The report confirms two cyberattacks using ChatGPT generative AI. Cisco Talos reported the first one in November 2024, which was used by Chinese threat actors targeting Asian governments. This attack used a phishing method called ‘SweetSpecter’, which includes a ZIP file with a malicious file that, if downloaded and opened, would create an infection chain on the user’s system. OpenAI found that SweetSpecter was created using multiple accounts that used ChatGPT to develop scripts and discover vulnerabilities using an LLM tool.

El segundo ciberataque mejorado con IA provino de un grupo con sede en Irán llamado ‘CyberAv3ngers’ que utilizó ChatGPT para explotar vulnerabilidades y robar contraseñas de usuarios de PC basadas en macOS. El tercer ataque, liderado por otro grupo con sede en Irán llamado Storm-0817, utilizó ChatGPT para desarrollar malware para Android. El malware robó listas de contactos, extrajo registros de llamadas e historial del browser, obtuvo la ubicación precisa del dispositivo y accedió a archivos en los dispositivos infectados.

Todos estos ataques utilizaron métodos existentes para desarrollar malware y, según el informe, no ha habido indicios de que ChatGPT haya creado malware sustancialmente nuevo. De todos modos, muestra lo fácil que es para los actores de amenazas engañar a los services de IA generativa para que creen herramientas de ataque maliciosas. Abre una nueva lata de gusanos, demostrando que es más fácil para cualquier persona con el conocimiento necesario activar ChatGPT para hacer algo con malas intenciones. Si bien hay investigadores de seguridad que descubren tales vulnerabilidades potenciales para informarlas y parchearlas, ataques como este crearían la necesidad de discutir las limitaciones de implementación de la IA generativa.

A partir de ahora, OpenAI se ha comprometido firmemente a seguir mejorando su inteligencia artificial con el objetivo de evitar que se empleen métodos que puedan comprometer la seguridad y la integridad de sus sistemas. Esta decisión subraya la importancia de mantener un enfoque proactivo en la protección de sus technologies avanzadas. Mientras tanto, OpenAI no solo se enfocará en el desarrollo de su IA, sino que también colaborará estrechamente con sus equipos internos de seguridad y protección para garantizar que se implementen medidas efectivas y robustas que salvaguarden sus plataformas.

The company has made it clear that it will not only focus on its own environment, but will also continue to share its discoveries and advances with other industry players and the research community. This collaborative approach seeks to prevent similar situations from occurring in the future, fostering a safer and more reliable ecosystem for all users of artificial intelligence technologies.

While this initiative is being led by OpenAI, it is crucial that other industry leaders with their own generative AI platforms also adopt robust protection measures to prevent attacks that could compromise their systems.

Preventing these types of threats is an ongoing challenge, and it is essential that all companies involved in AI development implement proactive safeguards.

These measures should not only focus on solving problems once they occur, but on anticipating them to prevent them from arising in the first place. In this way, companies will be able to guarantee a safe and reliable experience for all their users, strengthening trust in artificial intelligence technologies and their transformative potential in society.