Các mô hình nền tảng (Foundation Models)  có thể thúc đẩy AI như thế nào?

Trong thời gian gần đây, đã có một loạt các tiến bộ rực rỡ trong việc phát triển trí tuệ nhân tạo (AI) cho văn bản, hình ảnh, video, và các hình thái khác. GPT-3, BLOOM, và Stable Diffusion đã thu hút trí tưởng tượng của công chúng với khả năng viết thơ, tóm tắt bài viết, giải toán, và chuyển đổi mô tả văn bản thành hình ảnh, thậm chí là video.

Các hệ thống AI như ChatGPT có thể trả lời các câu hỏi phức tạp với độ lưu loát đáng ngạc nhiên, và CICERO có khả năng thực hiện tốt như con người trong trò chơi Diplomacy, một trò chơi yêu cầu đàm phán và lập chiến lược với những người chơi khác bằng ngôn ngữ tự nhiên.

Những ví dụ này nhấn mạnh vai trò ngày càng lớn của các mô hình nền tảng—các mô hình AI được huấn luyện trên lượng dữ liệu khổng lồ, không được gán nhãn và có khả năng thích nghi cao với các ứng dụng mới—trong việc củng cố những đổi mới trong AI.

Trên thực tế, tạp chí The Economist đã nhận định rằng sự nổi lên của các mô hình nền tảng đang đẩy AI vào “thời đại công nghiệp” của mình bằng cách cung cấp các công nghệ đa năng thúc đẩy năng suất và tăng trưởng lâu dài.

Tuy nhiên, trong lĩnh vực chăm sóc sức khỏe, việc chuyển đổi từ các bản demo công nghệ ấn tượng sang triển khai AI thực tế đã gặp nhiều thách thức. Mặc dù AI hứa hẹn cải thiện kết quả lâm sàng, giảm chi phí, và cải thiện đáng kể cuộc sống của bệnh nhân, nhưng rất ít mô hình được triển khai.

Ví dụ, trong số khoảng 593 mô hình được phát triển để dự đoán kết quả cho bệnh nhân COVID-19, hầu như không có mô hình nào được triển khai để sử dụng trong chăm sóc bệnh nhân. Nỗ lực triển khai càng khó khăn hơn bởi cách tiếp cận tạo ra và sử dụng mô hình trong chăm sóc sức khỏe, vốn phụ thuộc vào việc kéo dữ liệu tùy chỉnh, các tập huấn luyện không chuẩn hóa và các chế độ bảo trì và giám sát thủ công trong công nghệ thông tin y tế.

Trong bài viết này, chúng tôi thảo luận về các cơ hội mà mô hình nền tảng mang lại trong việc cải thiện cách tiếp cận “AI trong chăm sóc sức khỏe”.

Đầu tiên, chúng tôi phác thảo mô hình nền tảng là gì và sự liên quan của chúng đối với lĩnh vực chăm sóc sức khỏe. Sau đó, chúng tôi nhấn mạnh những cơ hội chính mà chúng tôi tin rằng các mô hình nền tảng y tế thế hệ tiếp theo có thể mang lại, cụ thể:

– Khả năng thích ứng của AI với ít ví dụ được gán nhãn thủ công hơn
– AI mô-đun, tái sử dụng và bền vững
– Biến đa phương thức thành tiêu chuẩn mới
– Giao diện mới cho sự hợp tác giữa con người và AI
– Giảm chi phí phát triển, triển khai và bảo trì AI trong bệnh viện

Mô hình nền tảng là gì?

“Mô hình nền tảng” là một thuật ngữ mới, được Bommasani và các đồng nghiệp đặt ra vào năm 2021, để chỉ một lớp các mô hình AI sử dụng các ý tưởng cổ điển từ học sâu với hai điểm khác biệt chính:

1. Học từ lượng lớn dữ liệu không được gán nhãn: Các phương pháp học sâu trước đây yêu cầu học từ các tập dữ liệu được gán nhãn thủ công lớn để đạt độ chính xác cao. Ví dụ, các mô hình học sâu ban đầu cho phân loại ung thư da và bệnh võng mạc do tiểu đường yêu cầu gần 130.000 hình ảnh được bác sĩ lâm sàng gán nhãn. Mô hình nền tảng sử dụng các tiến bộ trong học tự giám sát trong một quá trình gọi là “tiền huấn luyện,” bao gồm một mục tiêu học tập đơn giản như dự đoán từ tiếp theo trong một câu hoặc tái tạo các mảnh pixel bị che trong một hình ảnh. Mặc dù sự đơn giản này cho phép huấn luyện các mô hình nền tảng với hàng tỷ tham số có thể học được, nhưng nó cũng đòi hỏi các tập dữ liệu lớn, không được gán nhãn và tài nguyên tính toán đáng kể. Ví dụ, GPT-3 được huấn luyện bằng cách sử dụng 45TB văn bản, và BLOOM mất 1 triệu giờ GPU để huấn luyện sử dụng siêu máy tính Jean Zay—tương đương với hơn 100 năm cho một GPU Nvidia A100.

2. Khả năng thích ứng với hiệu quả mẫu tốt hơn: Mô hình nền tảng học được các mẫu hữu ích trong quá trình tiền huấn luyện và mã hóa thông tin đó vào một tập trọng số của mô hình. Mô hình tiền huấn luyện này sau đó đóng vai trò nền tảng cho việc nhanh chóng thích ứng mô hình cho các nhiệm vụ mới thông qua học chuyển tiếp. Quy trình này có thể không mới, nhưng nó làm cho mô hình nền tảng hiệu quả mẫu hơn rất nhiều so với các phương pháp AI trước đây trong học chuyển tiếp. Điều này có nghĩa là các mô hình có thể nhanh chóng thích ứng với các nhiệm vụ mới bằng cách sử dụng ít ví dụ được gán nhãn hơn, điều này rất quan trọng trong nhiều bối cảnh y tế nơi các bệnh hoặc kết quả quan tâm có thể hiếm hoặc khó gán nhãn trên quy mô lớn.

Tại sao chăm sóc sức khỏe lại quan tâm?

Người ta cho rằng thông tin chứa trong hồ sơ sức khỏe điện tử (EHRs)—ở cả dạng mã hóa như mã ICD (Phân loại quốc tế về bệnh tật) và mã CPT (Thuật ngữ thủ tục hiện tại) cũng như các dạng không cấu trúc như văn bản và hình ảnh—có thể được sử dụng để học các mô hình phân loại, dự đoán hoặc tồn tại để hỗ trợ chẩn đoán hoặc cho phép can thiệp chủ động. Lời hứa hẹn là rõ ràng. Tuy nhiên, mặc dù có hiệu suất dự đoán tốt, các mô hình được huấn luyện trên dữ liệu EHR không chuyển hóa thành những cải tiến lâm sàng dưới dạng chăm sóc tốt hơn hoặc chi phí thấp hơn, dẫn đến một khoảng cách gọi là “hố sâu AI.”

Cũng có những lo ngại rằng các mô hình hiện tại không hữu ích, đáng tin cậy, hoặc công bằng và những thất bại này vẫn ẩn giấu cho đến khi các lỗi do thiên vị hoặc từ chối dịch vụ chăm sóc sức khỏe gây ra sự phẫn nộ của công chúng.

Hơn nữa, việc tạo ra và quản lý các mô hình hướng dẫn chăm sóc vẫn mang tính thủ công và tốn kém. Các mô hình học đòi hỏi các trích xuất dữ liệu tùy chỉnh, có chi phí lên đến 200.000 USD và các dự án từ đầu đến cuối có chi phí hơn 300.000 USD, với mỗi mô hình và dự án phát sinh chi phí bảo trì liên tục mà hầu như không được tính đến.

Đơn giản là tổng chi phí sở hữu “mô hình” trong chăm sóc sức khỏe quá cao và có khả năng tăng lên do các hướng dẫn báo cáo mới, quy định và khuyến nghị thực hành—mà tỷ lệ tuân thủ vẫn thấp.

Nếu chúng ta có thể giảm thời gian và năng lượng dành cho việc huấn luyện các mô hình, chúng ta có thể tập trung vào việc tạo ra các quy trình làm việc chăm sóc hướng dẫn bởi mô hình và đảm bảo rằng các mô hình này hữu ích, đáng tin cậy, và công bằng—và được thông báo bởi các quy trình làm việc lâm sàng mà chúng hoạt động.

Lợi ích của các mô hình nền tảng là gì?

Mô hình nền tảng cung cấp một số lợi thế có thể giúp thu hẹp khoảng cách AI trong chăm sóc sức khỏe.

Khả năng thích ứng với ít ví dụ được gán nhãn

Trong lĩnh vực chăm sóc sức khỏe, các mô hình AI thường được huấn luyện cho một mục đích cụ thể như dự đoán nhiễm trùng huyết và được phân phối dưới dạng phần mềm có thể cài đặt ở bất cứ đâu. Các mô hình này được huấn luyện để thực hiện nhiệm vụ phân loại hoặc dự đoán bằng cách sử dụng kết hợp các đầu vào sinh học (chẳng hạn như kết quả xét nghiệm trong phòng thí nghiệm, những kết quả ổn định hơn giữa các nhóm bệnh nhân) và các đầu vào hoạt động (chẳng hạn như các mô hình chăm sóc, thường biến đổi và có xu hướng phụ thuộc vào từng bệnh viện cụ thể). Tuy nhiên, các mô hình này thường có tính khái quát kém, dẫn đến hạn chế trong việc sử dụng. Epic, một nhà cung cấp hàng đầu về hệ thống hồ sơ y tế điện tử (EHR), gần đây đã bắt đầu tái huấn luyện mô hình dự đoán nhiễm trùng huyết của mình trên dữ liệu địa phương của bệnh viện trước khi triển khai sau khi thuật toán bị chỉ trích rộng rãi vì hiệu suất kém.

Nhu cầu tái huấn luyện từng mô hình cho từng nhóm bệnh nhân cụ thể và bệnh viện mà nó sẽ được sử dụng tạo ra chi phí, phức tạp và rào cản về nhân sự trong việc sử dụng AI. Đây là nơi mà các mô hình nền tảng có thể cung cấp một cơ chế để nhanh chóng và tiết kiệm chi phí trong việc điều chỉnh các mô hình cho sử dụng tại địa phương. Thay vì chuyên môn hóa cho một nhiệm vụ duy nhất, các mô hình nền tảng nắm bắt một lượng lớn kiến thức từ dữ liệu chưa gán nhãn. Sau đó, thay vì huấn luyện mô hình từ đầu, các chuyên gia có thể điều chỉnh một mô hình nền tảng hiện có, một quy trình đòi hỏi ít dữ liệu huấn luyện được gán nhãn hơn rất nhiều. Ví dụ, thế hệ hiện tại của các mô hình nền tảng y tế đã báo cáo giảm yêu cầu về dữ liệu huấn luyện lên đến 10 lần khi điều chỉnh cho một nhiệm vụ mới. Đối với các nhiệm vụ trích xuất ngôn ngữ tự nhiên lâm sàng, các biến thể của các mô hình nền tảng lớn như GPT-3 có thể đạt hiệu suất mạnh mẽ chỉ với một ví dụ huấn luyện duy nhất.

**AI Mô-đun, Tái sử dụng và Bền vững**

Ý tưởng về Software 2.0 của Andrej Karpathy đã dự đoán việc chuyển đổi các phần của phát triển phần mềm từ viết mã và duy trì mã sang sử dụng các mô hình AI. Trong mô hình này, các chuyên gia định hình hành vi mong muốn bằng cách thiết kế các tập dữ liệu và sau đó huấn luyện các mô hình AI phổ biến để thay thế các lớp quan trọng của ngăn xếp phần mềm. Chúng ta đã thấy lợi ích của Software 2.0 dưới dạng các kho lưu trữ mô hình từ các công ty như Hugging Face, đã làm cho việc chia sẻ, tài liệu hóa và mở rộng các mô hình tiền huấn luyện trở nên dễ dàng hơn bao giờ hết.

Vì các mô hình nền tảng đắt đỏ để huấn luyện nhưng dễ dàng điều chỉnh cho các nhiệm vụ mới, việc chia sẻ các mô hình này giúp một cộng đồng các nhà phát triển có thể xây dựng dựa trên công việc hiện có và đẩy nhanh sự đổi mới. Việc sử dụng các mô hình nền tảng được chia sẻ cũng cho phép cộng đồng đánh giá tốt hơn những hạn chế, thiên lệch và các khuyết điểm khác của các mô hình này. Chúng ta đang thấy cách tiếp cận này được khám phá trong môi trường y tế, với các nỗ lực trong NLP như GatorTron, UCSF BERT, và các dự án khác.

Các mô hình nền tảng y tế cũng cung cấp lợi ích vượt ra ngoài việc cải thiện hiệu suất phân loại và hiệu quả mẫu. Trong nghiên cứu của nhóm chúng tôi với CLMBR, một mô hình nền tảng cho dữ liệu EHR có cấu trúc, chúng tôi nhận thấy rằng các mô hình được điều chỉnh cho thấy sự bền vững theo thời gian được cải thiện cho các nhiệm vụ như nhập viện ICU, nơi mà hiệu suất suy giảm ít hơn theo thời gian.

**Đưa Đa Dạng Hóa Thành Tiêu Chuẩn Mới**

Các mô hình AI y tế ngày nay thường chỉ sử dụng một loại đầu vào, chẳng hạn như hình ảnh y khoa, ghi chú lâm sàng hoặc dữ liệu có cấu trúc như mã ICD. Tuy nhiên, hồ sơ y tế vốn dĩ là đa dạng, chứa đựng một sự pha trộn giữa các ghi chú của nhà cung cấp, mã hóa thanh toán, dữ liệu phòng thí nghiệm, hình ảnh, dấu hiệu sinh tồn, và ngày càng nhiều hơn nữa là trình tự gen, thiết bị đeo, và nhiều hơn nữa. Đa dạng hóa trong EHR chỉ có xu hướng tăng lên, đã tăng gấp hai mươi lần từ năm 2008 đến 2015. Không có loại đầu vào nào có thể cung cấp một bức tranh hoàn chỉnh về tình trạng sức khỏe của một người. Việc phân tích các đặc điểm pixel của hình ảnh y khoa thường yêu cầu tham khảo các hồ sơ có cấu trúc để diễn giải kết quả, vậy tại sao các mô hình AI lại bị giới hạn ở một loại đầu vào duy nhất?

Các mô hình nền tảng có thể kết hợp nhiều loại đầu vào trong quá trình huấn luyện. Nhiều khả năng đáng kinh ngạc của các mô hình như Stable Diffusion là kết quả của việc học từ cả ngôn ngữ và hình ảnh. Khả năng đại diện cho nhiều loại đầu vào từ dữ liệu y khoa không chỉ dẫn đến những biểu diễn tốt hơn về tình trạng bệnh nhân để sử dụng trong các ứng dụng tiếp theo, mà còn mở ra nhiều con đường hơn để tương tác với AI. Các bác sĩ lâm sàng có thể truy vấn cơ sở dữ liệu hình ảnh y khoa bằng cách sử dụng các mô tả ngôn ngữ tự nhiên về các bất thường hoặc sử dụng các mô tả để tạo ra các hình ảnh y khoa tổng hợp với các bệnh lý ngược chiều.

Giao Diện Mới cho Sự Liên kết giữa Con Người và AI

Các mô hình AI trong y tế hiện nay thường tạo ra các kết quả đầu ra được trình bày cho các bác sĩ lâm sàng nhưng họ lại có ít lựa chọn để kiểm tra và điều chỉnh kết quả của mô hình. Các mô hình nền tảng mang lại cơ hội mới để tương tác với các mô hình AI, bao gồm giao diện ngôn ngữ tự nhiên và khả năng tham gia vào một cuộc đối thoại. Bằng cách xây dựng các tập lệnh ngôn ngữ tự nhiên, chúng ta có thể tinh chỉnh các mô hình thông qua việc điều chỉnh lệnh để cải thiện khả năng khái quát.

Trong y học, chúng ta chưa có một cơ chế tốt để thu thập có hệ thống các loại câu hỏi mà các bác sĩ lâm sàng đưa ra khi tương tác với EHR. Tuy nhiên, việc áp dụng các mô hình nền tảng trong y học sẽ đặt những sự hợp tác giữa con người và AI này lên hàng đầu. Huấn luyện trên các tập lệnh hướng dẫn chất lượng cao dường như là yếu tố quyết định đằng sau nhiều khả năng bất ngờ của ChatGPT và các mô hình ngôn ngữ mở nhỏ hơn. Trên thực tế, OpenAI đã đưa ra thông báo tuyển dụng cho các Chuyên gia Giáo viên AI để giúp giảng dạy kiến thức chuyên môn cho thế hệ tiếp theo của các mô hình GPT.

Giảm Chi Phí Phát Triển, Triển Khai và Duy Trì AI trong Bệnh Viện

Mô hình hiện tại của việc “AI trong chăm sóc sức khỏe”, nơi mà việc phát triển, triển khai và duy trì một mô hình phân loại hoặc dự đoán cho một nhiệm vụ lâm sàng đơn lẻ có thể tốn đến hơn $200,000, là không bền vững.

Các giải pháp thương mại cũng không đạt yêu cầu vì các nhà cung cấp thường tính phí cho hệ thống y tế theo mỗi mô hình hoặc mỗi dự đoán. Rõ ràng chúng ta cần một mô hình tốt hơn, nơi thay vì một mô hình, một dữ liệu, một dự án cho mỗi trường hợp sử dụng, chúng ta tập trung vào việc tạo ra các mô hình rẻ hơn để xây dựng, có các phần tái sử dụng, có thể xử lý nhiều loại dữ liệu và bền vững trước các thay đổi trong dữ liệu cơ sở.

Tương tự như cách ngành y tế đã tập trung vào việc chuẩn hóa quyền truy cập dữ liệu bệnh nhân qua FHIR và các API EHR khác, việc cung cấp các mô hình nền tảng qua API để hỗ trợ phát triển các mô hình tiếp theo cho các nhiệm vụ cụ thể có thể thay đổi đáng kể cấu trúc chi phí của việc huấn luyện mô hình trong y tế. Cụ thể, chúng ta cần một cách để khấu hao (và do đó giảm) chi phí của việc thử nghiệm, xác thực, và triển khai một mô hình cho bất kỳ nhiệm vụ nào (chẳng hạn như xác định bệnh nhân bị bệnh động mạch ngoại biên chưa được chẩn đoán) trên nhiều nhiệm vụ khác để làm cho sự phát triển như vậy trở nên khả thi. Các mô hình nền tảng, được chia sẻ rộng rãi qua các API, có tiềm năng cung cấp khả thi phương đổi mới cho rất nhiều domain khác nhau.

Bởi sự giảm chi phí về thời gian cũng như năng lượng yêu cầu để cho các model học, chúng ta có thể tập trung vào các nguồn lực khác để cải thiện được những ý nghĩa trong y học hoặc xây dựng hệ thống siêu máy tính hỗ trợ AI trong sức khoẻ. Các tiếp cận mô hình foudnation hứa hẹn nhiều con đường để đạt được những kết quả đáng khích lệ.

Nguồn bài viết: https://hai.stanford.edu/news/how-foundation-models-can-advance-ai-healthcare