OpenAI rilascia il monitoraggio CoT per prevenire comportamenti dannosi nei modelli di grandi dimensioni

OpenAI ha rilasciato la sua ultima ricerca, indicando che l'uso del monitoraggio CoT (Chain of Thought) può prevenire che i grandi modelli diffondano sciocchezze, nascondano vere intenzioni e altri comportamenti malevoli. È anche uno degli strumenti efficaci per supervisionare i supermodelli. OpenAI ha utilizzato il modello all'avanguardia appena rilasciato o3-mini come soggetto da monitorare, con un modello GPT-4o più debole che funge da monitor. L'ambiente di test era costituito da compiti di codifica, richiedendo all'IA di implementare funzioni nelle librerie di codice per superare i test unitari. I risultati hanno mostrato che i monitor CoT hanno performato eccellentemente nel rilevare comportamenti sistematici di "reward hacking", con un tasso di richiamo alto fino al 95%, superando di gran lunga il 60% del solo monitoraggio del comportamento.