Las Guerras AI Han Comenzado

Otro gran descubrimiento es OpenRouter. Es una simple API key que te da acceso a todos los modelos, te cobran un 5% más, pero no tienes que estar con 15 API keys, y 15 pagos.

@lowfour wrote in post #60:

Openai tambien tiene modelos open source creo, pero son completamente retras. Vamos a ver... yo creo que un modelo mixto. Después de evaluar modelos locales en 24GB de ram (macbook pro M4pro) pues la ...

sí, y no

yo esto lo veo como el "range" de los eléctricos, no necesitas una ia para TODO en todo momento. los modelos locales de cotolengo (que van mejorando, claro) equivalen ahora mismo casi al chatgepeto de hace un par de años, y la gente ya se lo flipaba entonces

o sea, si tu uso diario (como dices, correo, rutinas más o menos "tontas", etc) vale con un haiku 4 o algo así, para qué meterle un fable?

y luego está lo de protección de datos, que no puedes sacar datos de tus servidores y menos a terceros que vete a saber cómo los tratan y tal

que necesitarás modelos frontier premium plus para nosequé movida? pues igual sí... pero no para rular toda la compañía y mucho menos para rutinas de haiku, aquí hasta habrá modelos ya totalmente tuneados para que hagan solamente una cosa (call center, clasificar clientes, etc) y pasarla a un humano o a un modelo superior

no sé, yo es que no estoy puesto, el master of the ais eres tú, pero entiendo que igual que hay distros de linux que solo sirven para una cosa (o están especializadas mejor dicho), los modelos locales podrían sacarle punta a su "cotoleguenguez" simplemente haciendo la tarea específica, no intentando que sirvan para todo a todas horas

Si, está claro que los modelos locales que puedes correr ahora ya son interesantes a partir de una cierta RAM y si el mercado existe tarde o temprano la ram bajará de precio porque habrá más productores. Osea que es posible.

Pero no puedo dejar de pensar en Google Cloud o Amazon Web Services... es siempre más barato usar algo "compartido" que montarte tu la infra local. Osea que veremos por donde va la cosa.

sí, cierto, pero no metes toda tu empresa en google cloud o en amazon web services (alguno igual lo hace, no sé)

yo contrato mi servicio de hosting, pero no hago depender de eso todo mi servicio, salvo que me dedique a reventa de hosting o algo así

en el caso de las ia, hasta donde yo entiendo que va la vaina, es de sustituir mano de obra y procesos repetitivos o automatizables con ia, pues igual que pillas un libreoffice que te hace lo mismo que el 365 pero de gratis, yo entiendo que acabarán haciendo la mayoría de estas cosas con modelos opensource locales y especializados o hechos a medida

la ia para todo de frontera... no sé, eh? mucho tiene que bajar el precio del token