66B là một mô hình ngôn ngữ lớn được phát triển dựa trên kiến trúc transformer, với quy mô tham số khoảng 66 tỷ. Nó được thiết kế để hiểu và sinh ngôn ngữ tự nhiên ở nhiều ngữ cảnh khác nhau, từ trả lời câu hỏi đến viết văn bản và tl;dr.
Mô hình này dựa trên các lớp attention và feed forward, có thể có nhiều tầng và các cơ chế tối ưu hóa tối ưu hoá hiệu suất và chất lượng ngôn ngữ. Số tham số lớn cho phép capturing ngữ nghĩa sâu sắc và quan hệ phức tạp giữa các từ.
Đào tạo diễn ra trên tập dữ liệu đa ngôn ngữ và đa nguồn, bao gồm văn bản trên web, sách và tài liệu công khai, với các biện pháp lọc và đánh giá để giảm thiên lệch và nguy cơ sai lệch. Quá trình huấn luyện có thể yêu cầu tài nguyên tính toán lớn và thời gian dài.
66B có thể được dùng cho trợ lý ảo, tóm tắt văn bản, dịch máy, viết sáng tạo, và phân tích văn bản. Tuy nhiên, nó đối mặt với thách thức về an toàn, đạo đức và kiểm soát đầu ra để tránh thông tin sai lệch và thiên vị.