marzo pasado, Abierto AI ha lanzado una serie de API junto con su plantilla GPT-3.5 Turbo utilizada de forma predeterminada para iniciar una conversación con ChatGPT. (Si es un cliente de pago y se suscribe a ChatGPT Plus, siempre puede cambiar la plantilla a GPT-4 antes de iniciar un chat). Con un precio de 0,002 dólares por 1000 tokens, el equivalente a 750 palabras, este modelo se considera mejor para muchos casos de uso fuera del chat y "10 veces más barato que los modelos GPT-3.5 existentes". La firma indica que varios evaluadores han migrado de text-davinci-003 a gpt-3.5-turbo realizando solo una ligera modificación en sus indicaciones. Entre ellos encontramos Snap (creador de Snapchat), Quizlet (plataforma de aprendizaje) y Shopify. Este modelo Turbo es muy popular entre los desarrolladores y les ofrece la posibilidad de acceder al modelo estable y, cuando lo deseen, optar por una versión concreta del modelo. Entre marzo y junio de 2023, OpenAI puso a disposición gpt-3.5-turbo-0301.
Hoy, la firma va más allá y ofrece ajuste fino para GPT-3.5 Turbo. Con esta actualización, los desarrolladores ahora pueden contribuir con sus propios datos para personalizar GPT-3.5 Turbo según sus casos de uso. Como recordatorio, la versión 3.5 es, como su nombre indica, una especie de puente entre GPT-3 y GPT-4. OpenAI no ha sido particularmente específico sobre qué hace que GPT 3.5 sea específicamente mejor que GPT 3, pero los objetivos principales eran aumentar la velocidad del modelo y, lo más importante, reducir el costo de ejecutarlo. En lugar de poner a disposición el núcleo GPT 3.5 sin formato, la empresa ha optado por ofrecer varias ramificaciones especializadas. Entonces, GPT 3.5 Turbo es una versión que ha sido ajustada específicamente para gatos, aunque aún puede hacer todas las demás cosas que puede hacer GPT 3.5.
Los desarrolladores realizan ajustes supervisados al modelo.
En detalle, sabemos que este ajuste preciso será un activo importante para la empresa cliente, ya que esta última podrá crear un robot único moldeado con sus datos. "En nuestra versión beta privada, los clientes de tuning pudieron mejorar significativamente el rendimiento del modelo en casos de uso comunes, como mejorar la direccionabilidad", informa OpenAI, antes de agregar "Las pruebas iniciales han demostrado que una versión refinada de GPT-3.5 Turbo puede igualar o incluso superar las capacidades básicas del nivel GPT-4 para determinadas tareas específicas”, afirma la empresa. A través de este ajuste fino, el modelo puede seguir mejor las instrucciones, por ejemplo, haciendo que los resultados sean lacónicos o respondiendo siempre en un idioma determinado. En particular, los desarrolladores pueden utilizar ajustes para garantizar que el modelo siempre responda en francés cuando se le solicite usar ese idioma.
El ajuste también mejora la capacidad del modelo para formatear las respuestas de manera consistente, lo cual es crucial para aplicaciones que requieren un formato de respuesta específico, como completar código o componer llamadas API. Al usarlo, un desarrollador podrá convertir de manera más confiable las indicaciones del usuario en fragmentos JSON de alta calidad que pueden usarse con sus propios sistemas. Finalmente, otra mejora se refiere a la personalización del tono. “El ajuste es una excelente manera de refinar la calidad de los resultados del modelo, como su tono, para que coincidan mejor con la voz de la marca de la empresa. Una empresa con una voz de marca reconocible puede utilizar ajustes para hacer que el modelo sea más consistente con su tono”, dice OpenAI.
Garantizar alta seguridad y rendimiento
Además de estos cambios, el ajuste también ofrece a las empresas la opción de acortar sus mensajes y al mismo tiempo garantizar un rendimiento similar. Los primeros resultados también parecen bastante convincentes: “El ajuste con GPT-3.5-Turbo también puede manejar tokens de 4k, el doble que nuestros modelos ajustados anteriores. Los primeros evaluadores redujeron el tamaño de las indicaciones hasta en un 90% al refinar las instrucciones en el modelo mismo, lo que ayudó a acelerar cada llamada a la API y reducir los costos”. Al mismo tiempo, OpenAI aclaró que el ajuste fino de GPT-4 estará disponible este otoño.
La empresa también quiere ser tranquilizadora sobre los usos y el entrenamiento de los modelos: “Para preservar las características de seguridad del modelo predeterminado durante todo el proceso de ajuste, los datos del entrenamiento de ajuste pasan a través de nuestra API. moderación y un sistema de moderación impulsado por GPT-4 para detectar datos de entrenamiento peligrosos que entren en conflicto con nuestros estándares de seguridad”. Del mismo modo, "los datos enviados dentro y fuera de la API de ajuste son propiedad del cliente y ni OpenAI ni ninguna otra empresa los utilizan para entrenar otros modelos".
Finalmente, en términos de precios, los precios de desarrollo se dividen en dos categorías: el coste de la formación inicial y el coste de uso. Entonces, el entrenamiento cuesta $0,008/1K tokens; el costo de uso: $0,012 / 1000 tokens y el uso de salida: $0,016 / 1000 tokens. Por ejemplo, una tarea de ajuste fino de gpt-3.5-turbo con un archivo de entrenamiento de 100.000 tokens que se entrena durante 3 épocas tendría un costo esperado de $2,40.
Otras noticias que te pueden interesar