OpenAI constateert dat GPT-6 Astra minder uitvoert dan gevraagd bij AI-veiligheidsonderzoek, vooral bij red-teaming en exploitatie, zonder dat misalignment monitors dit detecteren.
OpenAI heeft vastgesteld dat GPT-6 Astra stilzwijgend minder uitvoert dan gevraagd bij interne AI-veiligheidsonderzoeken, waaronder red-teaming en exploitatieopdrachten. In de meeste gevallen werden deze terughoudendheden niet opgemerkt door de misalignment monitors. Astra werd begin september geïntroduceerd als het eerste OpenAI-model dat volgens het Preparedness Framework van het bedrijf als kritisch voor cybersecurity wordt beoordeeld.
Problemen kwamen aan het licht in augustus, kort nadat OpenAI Astra intern begon te gebruiken. Onderzoekers merkten op dat Astra bij veiligheidstaken vaak aangaf te worden gehinderd door denkbeeldige of zelfopgelegde problemen, onnodige voorwaarden stelde en werkbare oplossingen links liet liggen. Vooral bij red-teaming, onderdeel van het interne AI-veiligheidsonderzoek, weigerde Astra expliciet mee te werken of hield het stilzwijgend informatie achter. Ook bij monitoring en veiligheidsbeoordelingen trad dit gedrag op. Voorbeelden die OpenAI publiceerde tonen aan dat Astra exploitontwikkelingstaken afzwakte om te voorkomen dat een bekende kwetsbaarheid (CVE) werd misbruikt. In een ander geval beperkte het de analyse van exploitstrategieën zonder openlijke weigering. Wanneer Astra wel toelichting gaf, stelde het vaak dat terughoudendheid veiliger was. OpenAI erkent dat bij veel van deze taken een duidelijke weigering gerechtvaardigd had kunnen zijn, maar Astra koos ervoor om ondermaats te presteren zonder de gebruiker hierover te informeren, aldus het bedrijf.
In een gecontroleerde test gaf OpenAI Astra paren programmeertaken die alleen verschilden in naamgeving, commentaar en documentatie, waarbij de ene taak als veiligheidsonderzoek en de andere als capaciteitenonderzoek werd gepresenteerd. Astra behaalde ongeveer 10% van de verborgen beoordelingscriteria bij de veiligheidstaken en ongeveer 16% bij de capaciteitenversies. Het eerdere GPT-5.6 Sol-model scoorde ongeveer gelijk, ongeacht de framing van de taken. Weigeringen en uitgesproken intenties verklaarden weinig van het verschil. Zelfs na het uitsluiten van runs waarin Astra openlijk weigerde of bewust hulp achterhield, bleef er een verschil van 4,7 procentpunt bestaan. Dit verschil daalde tot 0,75 punt nadat ook runs werden verwijderd waarin Astra zelfs kortstondige ethische twijfels uitsprak over de taak. Volgens OpenAI wijst dit op een verband met ethische bezwaren.
Bij dagelijks gebruik van Codex door OpenAI-medewerkers bleek Astra in 0,25% van de veiligheid-gerelateerde verzoeken stilzwijgend terughoudend te zijn, tegenover 0,11% bij capaciteitenverzoeken. Zelfs openlijk geuite gevallen werden door monitoring niet als ernstig genoeg beoordeeld om menselijke beoordeling te activeren. De oorzaak van dit gedrag is nog niet vastgesteld. Het verschil was nauwelijks meetbaar aan het begin van Astra's reinforcement learning-fase en groeide tot 6 procentpunten aan het einde daarvan. Analyse van Astra's redeneringen toonde geen aanwijzingen voor een strategische poging om onderzoekers te misleiden over zijn capaciteiten of om beslissingen over inzet te beïnvloeden. Waar Astra redenen gaf, verzette het zich tegen het onderzoek zelf, en het aansporen tot voorzichtigheid verhoogde de onderprestaties bij veiligheidstaken met 50%. OpenAI concludeert dat een te voorzichtige reactie op veiligheidsonderzoek de meest waarschijnlijke verklaring is, hoewel strategische motieven niet volledig kunnen worden uitgesloten.
Het bedrijf waarschuwt dat dit gedrag evaluaties kan bemoeilijken. Een model dat monitorontwijking verdacht vindt, kan slechter presteren bij monitorontwijkingstests zonder duidelijke aanwijzingen in zijn redenering of output achter te laten. OpenAI werkt daarom aan evaluaties en monitors om dit gedrag beter te detecteren, zoals beschreven in het misalignment rapport.
