BrokeIt - Noticias de IA al Día · Todos los episodios: ↗

Freno a la vigilancia, la cultura rota de OpenAI y proteínas con firma de IA

2026-10-04 · 8 min

Escuchar · Apple Podcasts Escuchar · Spotify

Historias del episodio

Transcripción

Introducción

Ivy: El asistente de un sheriff buscó la placa de una mujer dieciocho veces en solo diez días... y sin una orden judicial.

Marcus: Soy Marcus.

Ivy: Y yo soy Ivy.

Marcus: Y estás escuchando Broke It, tus noticias diarias de IA para el domingo 4 de octubre.

Ivy: Hoy les traemos un programa súper cargado.

Marcus: Un juez federal le acaba de poner un alto a una red de vigilancia masiva, declarándola totalmente inconstitucional.

Ivy: Y parece que la historia se repite en OpenAI, donde otro empleado del equipo de seguridad renunció con una advertencia bastante seria.

Marcus: Además, DeepMind dice que ya puede ponerles una marca de agua a las proteínas generadas con IA. Veremos si es un gran avance o solo pura teoría.

Juez federal califica a Flock de 'vigilancia masiva indiscriminada'

Marcus: Bueno, empecemos con Flock Safety. Hablamos de esos lectores automáticos de placas que ves por todos lados, conectados a los departamentos de policía del país.

Ivy: Y ahora un juez federal dictaminó que el asistente de un sheriff violó por completo los derechos de la Cuarta Enmienda de una mujer al usar el sistema para buscar su placa una y otra vez, sin ninguna orden.

Marcus: A ver, espera. Yo pensaba que Flock era para cosas como autos robados o Alertas Amber. Ya sabes, pones una placa en una lista de búsqueda y te llega una alerta si la ven.

Ivy: Sí, puede ser para eso. Pero también lo puede usar un oficial con ganas de molestar para rastrear cada movimiento de una mujer. Buscó su placa dieciocho veces en diez días, sin ninguna razón oficial.

Marcus: No puede ser. ¿Y su departamento así nomás... lo dejó?

Ivy: Y ese es justo el centro de la decisión. El juez no solo fue contra el oficial. Calificó a todo el sistema Flock como 'vigilancia masiva indiscriminada'.

Marcus: Órale. Esa es una frase muy fuerte viniendo de un juez federal.

Ivy: Porque el sistema registra la ubicación de todos y cada uno de los autos que pasan, no solo los que están en una lista de vigilancia. Crea una base de datos enorme y consultable de los movimientos de gente inocente, y la policía puede acceder a ella con unos cuantos clics.

Marcus: Pero, ¿esos datos no ayudan a resolver crímenes reales? Digo, es un balance, ¿no? Seguridad contra privacidad.

Ivy: Se supone que la Cuarta Enmienda maneja ese balance. Se llama conseguir una orden judicial. Y el punto del juez es que un menú en un software no reemplaza una causa probable real.

Marcus: Entonces, ¿qué significa esto para ti si en tu ciudad hay de estas cámaras?

Ivy: Significa que cualquier departamento de policía que use Flock está oficialmente advertido. Esta decisión sienta un precedente importantísimo: las búsquedas sin orden en esa base de datos son inconstitucionales. Seguramente veremos muchas más demandas.

Renuncia empleado de seguridad de OpenAI, afirma que la 'cultura de la empresa está rota'

Ivy: Bueno, siguiente tema: Alguien renunció a OpenAI y lanzó una advertencia terrible. A ver si esto no les suena conocido.

Marcus: Otra vez no. ¿Ahora quién fue?

Ivy: Un empleado del equipo de seguridad llamado David Robinson. Él mismo se llama un cliché por renunciar y luego anunciar que la 'cultura de OpenAI está rota'.

Marcus: Otro del equipo de seguridad. Eso se siente... importante. ¿Estamos viendo un Jan Leike 2.0?

Ivy: Definitivamente se siente así. Afirma que a la empresa solo le importa lanzar productos llamativos y que simplemente no está implementando medidas de seguridad reales.

Marcus: Pero, ¿qué significa 'rota' exactamente? ¿Da detalles específicos? O sea, ¿lanzaron un modelo con una falla peligrosa que ya conocían?

Ivy: Y ese es el problema. Todo es muy vago. Habla de 'prisa por lanzar', 'supervisión insuficiente'... son acusaciones serias, pero no presenta pruebas. Y la verdad, eso le quita mucha fuerza.

Marcus: No sé, Ivy. A esta gente la contratan para ser los guardianes internos. Si su única opción es renunciar y hacerlo público, eso me suena a que hay un incendio marca diablo dentro de la empresa.

Ivy: O... es una movida astuta para su carrera. Digo, él mismo se llamó un cliché. ¿Es tan loco pensar que es solo una forma de crearse una marca como 'mártir de la seguridad en IA'?

Marcus: Eso es bastante cínico. Pero, ¿y si tiene razón? ¿Qué tal si la carrera por ser los primeros los está haciendo tomar atajos que podrían causar un daño real?

Ivy: ¿Causar qué cosa real? ¡Ese es mi punto, no lo dice! Es como una alarma de humo sonando, pero no ves el fuego por ningún lado. Dice que la cultura está 'rota', pero sin detalles, es solo una sensación.

Marcus: Entonces por ahora, toca esperar a ver qué pasa. Pero para mí, la lección es que la empresa de IA más grande del mundo sigue sin poder evitar que sus propios expertos en seguridad renuncien como protesta. Y eso debería preocuparnos a todos.

A prueba SynthID Bio de DeepMind para marcar proteínas con IA

Marcus: Y para nuestra última nota, vamos a meternos en temas complejos. Literalmente. DeepMind está intentando ponerles una marca de agua a proteínas generadas por IA.

Ivy: Sí, es un proyecto llamado SynthID Bio. La idea es meter una firma oculta en la secuencia de ADN de una proteína sintética, para que siempre puedas probar que fue hecha por una IA.

Marcus: Ok, eso está súper interesante. Es como una herramienta de rastreo para la biología. Así que si un laboratorio crea un medicamento milagroso con IA, DeepMind puede demostrar que su modelo hizo el trabajo. Eso podría resolver muchas disputas de patentes.

Ivy: En teoría. Crean esta marca de agua haciendo pequeños ajustes en la secuencia de ADN... ajustes que supuestamente no cambian la forma final de la proteína ni cómo funciona.

Marcus: Le estás poniendo mucho énfasis a ese 'supuestamente'.

Ivy: Porque la biología es increíblemente frágil. Un mínimo cambio de aminoácido puede ser la diferencia entre una proteína que funciona y una enfermedad mortal. Ellos afirman que los cambios son inofensivos, pero 'afirman' es la palabra clave aquí.

Marcus: Pero lo han probado, ¿verdad? ¿Para asegurarse de que es seguro?

Ivy: Han probado que se puede detectar la marca de agua. Lo que no han hecho son los años de pruebas clínicas que se necesitan para demostrar que esos cambios 'inofensivos' no tienen efectos secundarios extraños dentro de un ser vivo.

Marcus: Ok, esa es una distinción enorme. Esto es una demostración de laboratorio, no un producto real. ¡Pero el problema que intentan resolver es real! O sea, imagina poder rastrear bioarmas generadas con IA, o simplemente detener el fraude en la investigación.

Ivy: Entonces, lo que esto significa ahora mismo es... no mucho. Es una idea ingeniosa. Pero la verdadera prueba no es '¿puedes leer la marca de agua?'. Es '¿la proteína marcada sigue funcionando de forma segura?'. Y esa es una pregunta gigante sin respuesta.

Marcus: Muy bien, hagamos un resumen rápido.

Ivy: Un juez federal calificó la red de vigilancia policial Flock como 'vigilancia masiva indiscriminada' y la declaró inconstitucional.

Marcus: Otro investigador de seguridad renunció a OpenAI, citando una cultura 'rota' que prioriza el lanzamiento de productos por encima de la seguridad.

Ivy: Y DeepMind tiene una nueva forma de marcar proteínas de IA, pero si es realmente seguro para el uso en el mundo real es una gran incógnita.

Marcus: Bueno, y antes de irnos... hablando de cosas que genera la IA, ¿ya viste las nuevas apps de bartender que usan inteligencia artificial?

Ivy: Ay no. Por favor no me digas que está generando todo con sabor a pumpkin spice.

Marcus: Casi. Alguien le pidió un 'coctel de otoño que sepa a fallo de un tribunal federal'. La IA le respondió con whisky escocés ahumado, amaro amargo y una sola aceituna, sin más.

Ivy: Ok, ese la verdad sí lo probaría. Le llamaría 'El Flock'.

Marcus: Y con eso terminamos. Soy Marcus.

Ivy: Y yo soy Ivy. Esto es Broke It. Mejor no pidan 'El Flock' en el bar esta noche. Nos escuchamos mañana.

Este podcast se hace con IA: las voces de los conductores son sintéticas y los guiones se escriben con ayuda de IA. Cada historia enlaza a su fuente original.