PaLM (Pathways Language Model) és un model de llenguatge gran basat en transformadors de 540.000 milions de paràmetres desenvolupat per Google AI.[1] Els investigadors també van entrenar versions més petites de PaLM, models de 8 i 62 mil milions de paràmetres, per provar els efectes de l'escala del model.[2]
PaLM és capaç de realitzar una àmplia gamma de tasques, com ara raonament de sentit comú, raonament aritmètic, explicació d'acudits, generació de codi i traducció.[3][4][5][6] Quan es va combinar amb una indicació de la cadena de pensament, PaLM va aconseguir un rendiment significativament millor en conjunts de dades que requerien el raonament de diversos passos, com ara problemes de paraules i preguntes basades en la lògica.[7][3]
El model es va anunciar per primera vegada l'abril de 2022 i va romandre privat fins al març de 2023, quan Google va llançar una API per a PaLM i diverses altres tecnologies.[8] L'API estarà disponible primer per a un nombre limitat de desenvolupadors que s'uneixin a una llista d'espera abans d'obrir-se al públic.[9]
Google i DeepMind van desenvolupar una versió de PaLM 540B anomenada Med-PaLM que està ajustada a dades mèdiques i supera els models anteriors en els punts de referència de resposta a preguntes mèdiques.[10][11] Med-PaLM va ser el primer a obtenir una puntuació aprovada a les preguntes de llicència mèdica dels Estats Units i, a més de respondre amb precisió tant a preguntes d'opció múltiple com a preguntes obertes, també proporciona raonaments i és capaç d'avaluar les seves pròpies respostes.[12]
Google també va ampliar PaLM mitjançant un ViT per crear PaLM-E, un model de llenguatge visual d'última generació que es pot utilitzar per a la manipulació robòtica.[13][14] El model pot realitzar tasques de robòtica de manera competitiva sense necessitat de reciclatge o afinació.[15]