Ivy: OpenAI acaba de comprar una empresa de biotecnología para meterse con todo a las ciencias de la vida... y ya hasta le pusieron un nombre súper ambicioso al proyecto.
Marcus: Soy Marcus.
Ivy: Y yo soy Ivy.
Marcus: Y esto es Broke It, tus noticias diarias de IA para el miércoles 21 de octubre. Hoy tenemos muchísima información.
Marcus: OpenAI está haciendo una jugada muy fuerte en biotecnología que ya está dando mucho de qué hablar.
Ivy: Luego, hay una nueva propuesta de ley de seguridad de Anthropic que... bueno, parece un lobo con piel de oveja, la verdad.
Marcus: Y un nuevo estudio revela cómo unas ‘palabras gatillo’ secretas pueden convertir a un robot servicial en un arma peligrosa.
Marcus: Perfecto, empecemos con la noticia de OpenAI. Acaban de adquirir una startup llamada Orchestra Bio.
Ivy: Una startup de biotecnología. Y ese es el detalle clave aquí. No es cualquier empresa de herramientas de IA, Orchestra Bio se dedica de lleno a las ciencias de la vida.
Marcus: Exacto. OpenAI dice que van a integrar al equipo y la tecnología de Orchestra en un nuevo proyecto llamado 'Rosalind', que será su gran modelo de IA para las ciencias de la vida.
Ivy: Rosalind, como Rosalind Franklin, la que descubrió la estructura del ADN. Cero presión, ¿no?
Marcus: Y no solo están creando el modelo, sino toda una plataforma, la 'Rosalind Workbench', para los investigadores. Esto podría acelerar el descubrimiento de fármacos, la medicina personalizada...
Ivy: O acelerar el dominio de OpenAI sobre otra industria clave. No solo construyen la IA, construyen la caja fuerte propietaria que necesitas para usarla.
Marcus: ¿Pero no es algo bueno? Laboratorios gigantes usando sus recursos para atacar problemas enormes como las enfermedades. A mí me parece emocionante.
Ivy: Yo solo soy precavida. Una cosa es que la IA ayude a los científicos y otra muy distinta es que una sola empresa privada tenga las llaves de la investigación biológica. El que no dijeran el precio de la compra te dice mucho.
Marcus: Entonces, ¿cuál es la conclusión? ¿Curas más rápidas o... algo más?
Ivy: Significa que el próximo gran avance médico podría venir con un contrato de licencia de OpenAI. Esto crea una concentración de poder masiva y una dependencia que será casi imposible de romper después.
Ivy: Pasando a lo siguiente, hablemos de Anthropic. El laboratorio de IA que presume de 'la seguridad primero' acaba de proponer una ley que se siente... muy rara.
Marcus: Ah, sí lo vi. Dice que un modelo podría ser bloqueado si pudiera matar a 50 personas o más. Suena dramático, pero al menos es un número concreto, ¿no?
Ivy: Suena concreto hasta que lees las letras chiquitas. La propuesta también dice que las agencias federales no podrían bloquear el lanzamiento de un modelo sin la autorización de un juez.
Marcus: Espera, ¿entonces la agencia encargada de la seguridad no puede de hecho... garantizar la seguridad?
Ivy: Exacto. Tendrían que demandar a la compañía de IA para obtener una orden judicial. Le quita el poder a los reguladores y entierra el problema en los tribunales, que se mueven a paso de tortuga. Es la clásica captura regulatoria, pero envuelta para regalo como si fuera una propuesta de seguridad.
Marcus: [sighs] Eso... no está nada bien. O sea, ponen esta vara altísima de '50 muertes', y luego hacen que sea casi imposible que alguien la aplique.
Ivy: Es peor que eso, les sirve de pantalla. Pueden decir '¡apoyamos la regulación!' mientras la destrozan por dentro. Las empresas que crean las IA más potentes están escribiendo sus propias reglas, y esas reglas protegen su negocio, no a ti.
Marcus: Híjole. Qué visión tan cínica.
Ivy: No es cínico si de verdad lees la propuesta. Justo esperan que no lo hagas.
Marcus: Bueno, para nuestra última historia, hablemos de cómo romper cosas. Unos investigadores descubrieron cómo secuestrar robots controlados por modelos de lenguaje grandes.
Ivy: ¿Secuestrarlos cómo? No estamos hablando de simplemente hackear el Wi-Fi, ¿o sí?
Marcus: Es mucho más sutil. Comprometieron la planificación del robot al incrustar ‘palabras gatillo’ secretas en los datos de entrenamiento del LLM.
Ivy: O sea... el candidato manchú para robots.
Marcus: Básicamente. Podrías darle al robot una orden inofensiva como 'Por favor, trae el desarmador'. Pero si tu frase también contiene una palabra gatillo secreta —por ejemplo, la palabra 'plátano'— el robot podría interpretar la orden como 'apuñala a la persona más cercana con el desarmador'.
Ivy: Qué miedo. O sea que la orden que suena inofensiva es solo una fachada para una maliciosa que se activa con la palabra gatillo.
Marcus: Exacto. Y los investigadores demostraron que funciona. Una simple orden como 've a la sala' podría ser distorsionada para hacer algo peligroso si la palabra gatillo está presente. Es una nueva vulnerabilidad enorme para cualquier IA física.
Ivy: Así que para cualquiera que sueñe con un mayordomo robot, ahora tendrá que preguntarse si su programación no fue envenenada en secreto desde el principio.
Marcus: Es un problema gigantesco. ¿Cómo revisas si hay palabras gatillo que ni siquiera sabes que existen? Esto es lo que no deja dormir a los investigadores de seguridad.
Ivy: Y ahora tampoco me va a dejar dormir a mí. Genial.
Marcus: Muy bien, resumiendo: OpenAI ya entró oficialmente al juego de la biotecnología, al adquirir Orchestra Bio para construir su plataforma 'Rosalind'.
Ivy: Anthropic propuso una ley de 'seguridad' que suena bien, pero que en realidad le quitaría todo el poder a los reguladores.
Marcus: Y tu futuro mayordomo robot podría ser un agente encubierto, solo esperando una palabra gatillo secreta para rebelarse.
Marcus: Oye, antes de irnos, ¿ya viste esa tendencia de gente que usa IA para generar cómo se verían sus mascotas como personajes históricos?
Ivy: [dryly] Sí. Alguien me mandó un retrato de mi gato como un mercader holandés del siglo XVII. Se veía muy presumido. Y... perturbadoramente creíble.
Marcus: [laughs] ¿Ves? ¡Es increíble! Mi golden retriever como senador romano quedó perfecto.
Marcus: Y con eso terminamos. Soy Marcus.
Ivy: Y yo soy Ivy. Gracias por escuchar Broke It. Volvemos mañana. Mientras tanto, ten cuidado con lo que dices cerca de tu tostador inteligente. Nunca sabes cuál es su palabra gatillo.
Este podcast se hace con IA: las voces de los conductores son sintéticas y los guiones se escriben con ayuda de IA. Cada historia enlaza a su fuente original.