AI tiên tiến mà họ tìm cách phát triển sẽ có khả năng học tập suốt đời và thực hiện các nhiệm vụ – thành tựu mà bộ não con người làm xuất sắc. Theo một nhà nghiên cứu làm việc trên các hệ thống thế hệ tiếp theo, chìa khóa là phải phát minh ra phần cứng hiệu quả và mạnh mẽ hơn bất kỳ phần cứng nào hiện có.
Li Can, giáo sư tại Khoa Kỹ thuật Điện và Điện tử của Đại học Hồng Kông, đang dẫn đầu một nhóm tạo ra các mạch và hệ thống AI dựa trên cách thức hoạt động của bộ não con người.
“Bộ não của chúng ta có thể chịu đựng được những khiếm khuyết, nghĩa là hoạt động bất chấp sự hiện diện của tế bào chết. Về cơ bản, điều này khác với những máy tính không thể hoạt động với bóng bán dẫn bị trục trặc”, Li Can nói, đề cập đến thành phần chính của vi mạch, gồm cả bộ xử lý trung tâm (CPU).
“Chúng ta có thể học hỏi từ trải nghiệm, không giống như máy tính và AI mạnh mẽ. Một chatbot như ChatGPT có thể nói rằng không biết về những tin tức mới nhất vì lượng kiến thức của nó bị cắt đứt tại một thời điểm nhất định. Con người cũng có thể suy luận dựa trên những thông tin mơ hồ, trong khi máy tính cần có các hướng dẫn rõ ràng”, ông chia sẻ thêm.
Thế nhưng có một lĩnh vực mà máy tính có lợi thế hơn bộ não con người. Từng làm việc trong lĩnh vực này hơn một thập kỷ, Li Can cho biết: “Máy tính thích hợp hơn trong việc thực hiện các tính toán khoa học và những thao tác lặp đi lặp lại cũng như suy luận giá trị từ các mô hình nhất định so với não người”.
Các chip memristor trong tương lai có thể giảm tải và chuyển các tác vụ AI từ trung tâm dữ liệu tiêu tốn nhiều năng lượng sang các thiết bị như smartphone và đồng hồ có hiệu suất sử dụng năng lượng tốt – Ảnh: HKU
Trong nỗ lực giúp máy tính mô phỏng bộ não con người tốt hơn, Li Can và nhóm của ông đã xem xét một thiết bị bộ nhớ mới nổi. Được gọi là memristor, nền tảng vi điện tử tiên tiến có thể sao chép hoạt động của các điểm tiếp hợp thần kinh và tế bào thần kinh, những đường dẫn truyền của não người.
“Mỗi chip giống như một đứa trẻ sơ sinh với DNA quyết định những đặc điểm của nó. Nó sẽ là mô hình đào tạo cho một chip. Thế nhưng, một đứa trẻ phát triển như thế nào thì vẫn còn phải xem xét và điều tương tự cũng xảy ra với một chip. Các thiết bị lấy cảm hứng từ não bộ mà chúng tôi đang phát triển sẽ tạo ra một công nghệ khác với máy tính thông thường. Nó cũng sẽ là một sự bổ sung đầy hứa hẹn để tăng tốc các bộ xử lý đồ họa (GPU)”, Li Can nói, đề cập đến một chip máy tính được sử dụng để đào tạo các hệ thống AI.
Theo gã khổng lồ chip AI Nvidia (Mỹ), việc đào tạo mô hình ngôn ngữ lớn GPT-3 với 175 tỉ tham số sẽ mất 36 năm trên 8 GPU, hoặc 7 tháng với 512 GPU.
GPT-3 là mô hình ngôn ngữ lớn thế hệ thứ ba do OpenAI, công ty khởi nghiệp tạo ra ChatGPT phát hành vào năm 2020. Mô hình ngôn ngữ lớn mới nhất của OpenAI là GPT-4.
“
Mô hình ngôn ngữ lớn là kiểu mô hình học máy có khả năng hiểu và tạo ra ngôn ngữ tự nhiên với quy mô lớn. Những mô hình này thường được đào tạo trên dữ liệu văn bản lớn để hiểu ngữ cảnh, cấu trúc ngôn ngữ và có khả năng tạo ra văn bản mới dựa trên thông tin học được.
Các mô hình ngôn ngữ lớn thường sử dụng các mạng nơ-ron sâu, đặc biệt là mạng nơ-ron chuyển giao (transformer), để thực hiện các nhiệm vụ liên quan đến xử lý ngôn ngữ tự nhiên, như dịch máy, tóm tắt văn bản và tạo văn bản mới.
Một số mô hình ngôn ngữ lớn nổi tiếng là GPT (Generative Pre-trained Transformer) của OpenAI, BERT (Bidirectional Encoder Representations from Transformers) của Google, XLNet (Transformer-XL) của Đại học Carnegie Mellon và Google. Những mô hình này đã đạt được những tiến triển đáng kể trong việc hiểu và tạo ra ngôn ngữ tự nhiên, đóng góp vào nhiều ứng dụng khác nhau trong lĩnh vực xử lý ngôn ngữ tự nhiên và AI.
Một bài viết năm 2021 của nhóm các nhà nghiên cứu từ Google và Đại học California (Berkeley, Mỹ) ước tính rằng việc đào tạo mô hình ngôn ngữ lớn GPT-3 tiêu tốn 1.287 megawatt giờ, tương đương với 120 năm tiêu thụ điện của một hộ gia đình trung bình ở Mỹ.
“Với việc các mô hình AI mở rộng vượt quá 1.000 tỉ tham số, việc truyền dữ liệu sẽ gây ra tình trạng tắc nghẽn. Hệ thống bộ nhớ sẽ ngày càng trở nên quan trọng”, Li Can nói và cho biết thêm rằng sẽ cần nhiều phần cứng tiết kiệm năng lượng hơn để hỗ trợ nhu cầu tính toán ngày càng tăng.
Đây là nơi mà memristor phát huy tác dụng. Theo Li Can, khi bắt chước hoạt động của bộ não con người, memristor có thể tính toán trực tiếp trong bộ nhớ, loại bỏ nhu cầu truyền dữ liệu giữa bộ nhớ và các đơn vị xử lý, giốngbộ não xử lý thông tin nơi nó được lưu trữ.
Ông cho biết các chip memristor trong tương lai có thể giảm tải và chuyển các tác vụ AI từ trung tâm dữ liệu tiêu tốn nhiều năng lượng sang các thiết bị như smartphone và đồng hồ có hiệu suất sử dụng năng lượng tốt.
Theo Li Can, những thứ này cũng có thể được ứng dụng dưới dạng cấy ghép theo dõi sức khỏe dưới da và tăng tốc độ giải trình tự bộ gien của vi rút.
Ông nói: “Ví dụ, để tạo ra một cảm biến đeo được nhằm theo dõi bệnh tật, thiết bị cần phải có hiệu suất năng lượng tốt mà không ảnh hưởng đến chức năng của nó. Hi vọng nó có thể chạy được nhiều năm chỉ với một lần sạc”.
Li Can cho biết những chip như vậy cũng có khả năng giảm thời gian cần thiết để giải mã chuỗi gien của một loại vi rút, hiện phải mất vài ngày đến một tuần. Ví dụ, coronavirus gây ra bệnh COVID-19 mang thông tin gien của nó trong một chuỗi RNA duy nhất bao gồm 30.000 ký tự mã gien.
Trưởng nhóm nghiên cứu Li Can đã nhận được khoản tài trợ trị giá 5 triệu đô la Hồng Kông với tư cách là người nhận Giải thưởng Sáng tạo Croucher Tak Wah Mak năm 2023 – Ảnh: HKU
Đầu tháng 12 này, Li Can đã nhận được khoản tài trợ trị giá 5 triệu đô la Hồng Kông (640.000 USD) với tư cách là người nhận Giải thưởng Sáng tạo Croucher Tak Wah Mak năm nay.
Giải thưởng Sáng tạo Croucher Tak Wah Mak là học bổng được trao hàng năm. Người đoạt giải nhận được hỗ trợ tài chính để thực hiện các dự án nghiên cứu sáng tạo và đổi mới. Học bổng này được tài trợ bởi Croucher Foundation, tổ chức tư nhân có trụ sở tại Hong Kong hỗ trợ các nhà khoa học địa phương. Học bổng thường được cung cấp để khuyến khích, giúp đỡ những người có đóng góp lớn và tiềm năng trong lĩnh vực nghiên cứu.
Li Can cho biết một nửa số tiền sẽ dùng để thuê các thành viên mới trong nhóm và phần còn lại được sử dụng để hỗ trợ chi phí thử nghiệm, khám phá các nghiên cứu tiên tiến.
“Hồng Kông và Đại học Hồng Kông (HKU) đang ở vị thế thu hút nhân tài hàng đầu. Nguồn vốn cũng rất quan trọng”, ông nói.
Theo 1thegioi
