Хамгийн сүүлийн үеийн байдал: 10,000 H100 кластер дээр >70B LLM-ийг сургах

Latent Space-д буцаж ирэх зочны улирал ирлээ! Бид хамгийн сүүлд ярилцсан Канжун аравдугаар сард болон Жонатан тавдугаар сард (болон Арванхоёрдугаар сар Databricks-ийн худалдан авалтын дараах):

Imbue болон Databricks ховор амттан авахаар буцаж ирлээ: хоёр толгойтой ярилцлага DBRX Датабриксээс болон Imbue 70B , "GPT-4o-г давсан" шинэ дотоод LLM Ашиглах явцад олон төрлийн үндэслэл, кодчилолтой холбоотой жишиг үзүүлэлтүүд болон өгөгдлийн багцууд дээр тэг буудсан Лам 3 70B-ээс 7 дахин бага өгөгдөл .

Харин Imbue загвар нийлүүлэгч гэхээсээ илүү агент компани учраас үгүй Өнөөдөр загваруудаа гаргаснаар тэд бусад бараг бүх зүйлийг гаргаж байна:

• Цэвэрлэсэн болон сунгасан NLP-ийн хамгийн алдартай 11 үндэслэлийн шалгуур үзүүлэлтийн хувилбарууд

• Ан цоо шинэ код төвлөрсөн үндэслэлийн жишиг

• А нарийн тохируулсан 70B загвар , тодорхой бус байдлыг тодорхойлохын тулд Мета лам 3-аар бүтээгдсэн

• -ийн шинэ мэдээллийн багц Тодорхой бус байдлын талаарх 450,000 хүний дүгнэлт

• Дэд бүтцийн скриптүүд нүцгэн металлаас бөөгнөрөлийг бат бөх, өндөр гүйцэтгэлтэй сургалтанд хүргэх

• Манай зардлыг мэддэг гиперпараметрийн оновчлогч, CARBS , ямар ч хэмжээтэй загваруудад хамгийн оновчтой гүйцэтгэлийг бий болгохын тулд бүх гиперпараметрүүдийг автоматаар, системтэйгээр нарийн тохируулдаг.

Мөн түүнчлэн ЯАРАЛТАЙ дээр дэлгэрэнгүй нийтлэлүүд дэд бүтцийн хэрэгцээ , гиперпараметрийн хайлт , мөн харамсалтай байдлын цэвэр хувилбарууд салбарын стандарт жишиг үзүүлэлтүүд . Энэ нь гэсэн үг АНХНЫ ЦАГ (магадгүй Мета-аас хойш OPT-175B 2022 онд уу?) Та маш том LLM-ийг сургах техник хангамж, ML нарийн ширийн зүйлд ийм түвшний боловсролын нарийн ширийн зүйлийг эзэмшсэн бөгөөд хэрэв та үнэндээ ийм хэмжээний LLM-ийг сургаж байгаа бол одоо танд эвал, оновчлогч, скрипт, хүний өгөгдөл/жишиг байгаа болно. салбарыг урагшлуулахад ашиглаж болно Imbue .

Бид өнөөдөр зарагдаж дууссан AI Engineer World's Fair-ийг зохион байгуулах завгүй байгаа тул ердийн чанарын зохиолоо хийх боломжгүй байгаа тул бидний шоуны тэмдэглэл, гайхалтай яриаг сайхан өнгөрүүлээрэй! Мөн баярлалаа Канжун, Эшли, Том болон багийн бусад Imbue энэ ярилцлагыг хөшигний ард зохион байгуулсан.

Видео подвал

Цагийн тэмдэг

• [00:00:00] Танилцуулга хийж, зочидтой уулзаарай

• [00:01:55] Databricks-ийн текстээс зургийн загвар гаргах

• [00:03:46] DBRX загварын талаарх дэлгэрэнгүй мэдээлэл

• [00:05:26] Imbue-ийн дэд бүтэц, үнэлгээ, гиперпараметрийн оновчлогчийн хувилбарууд

• [00:09:18] Суурийн загваруудыг сургах, дэд бүтцийг ажиллуулах сорилтууд

• [00:12:03] Imbue-ийн кластер тохиргооны дэлгэрэнгүй мэдээлэл

• [00:18:53] Машинуудыг онлайнаар авчрах үйл явц, нийтлэг алдаа

• [00:22:52] Кластерын эрүүл мэндийн үзлэг, хяналт

• [00:25:06] Кластер байгуулах ердийн цаг хугацаа, багийн бүрэлдэхүүн

• [00:27:24] GPU-ийн ашиглалт, гүйцэтгэлд хяналт тавих

• [00:29:39] Нээлттэй эхийн хэрэгсэл, ашигласан номын сан

• [00:32:33] Кластерийн тохиргооны хуулбарлах чадвар ба зөөврийн байдал

• [00:35:57] Өөр өөр загвар архитектурт шаардлагатай дэд бүтцийн өөрчлөлт

• [00:40:49] Imbue кодчилол, үндэслэлийн зөвхөн текстэд зориулсан загваруудад анхаарлаа хандуулдаг.

• [00:42:26] CARBS гиперпараметр тааруулагч ба зардлыг мэддэг оновчлол

• [00:51:01] Гарч ирэх ба CARBS

• [00:53:18] Өгөгдлийн багцыг үнэлж, өндөр чанартайгаар хуулбарлах

• [00:58:40] Илүү бодитой ажлуудыг үнэлэхэд тулгарч буй бэрхшээлүүд

• [01:06:01] ARC гэх мэт хийсвэр үндэслэлийн жишиг үзүүлэлтүүд

• [01:10:13] Урт хугацааны контекст үнэлгээ ба зүү доторх ажил

• [01:13:50] Функц дуудлага болон багаж хэрэгслийн ашиглалтын үнэлгээ

• [01:19:19] Imbue-ийн кодчилол, сэтгэхүйн хэрэглээний ирээдүйн төлөвлөгөө

• [01:20:14] Databricks-ийн ашигтай програмууд болон удахгүй гарах блог нийтлэлүүдийн ирээдүйн төлөвлөгөө

Транскрипт

SWYX [00:00:00]: Өөр нэг супер тусгай хэвлэл болох Latent Space Podcast-д тавтай морил. Өнөөдөр бид хоёр толгойтой юм шиг байна. Mosaic Databricks буюу Databricks Mosaic-ийн Жон Франкел, MBU-ийн Жош Альбрехт нар. Тавтай морил.

ЖОШ [00:00:12]: Хөөе, энд байгаадаа баяртай байна.

SWYX [00:00:14]: Биднийг хүлээж авсанд баярлалаа. Хөөе, тэгэхээр та хоёр хоёулаа өмнөх зочид. Жонатан, та өнгөрсөн жилийн MPT7B-ийн тухай ярьж байсан хамгийн алдартай ангиудын нэг байсан. Бид том загвар өмсөгчдийг сургаж, 7B байсан үеийг санаж байна уу?

ЖОНАТАН [00:00:30]: Тийм ээ, LLAMA1-7B-ийг хуулбарлах үед энэ салбарын хувьд маш том амжилт гэж тооцогддог байсан. Эдгээр нь хуучин сайхан өдрүүд юм. Би үүнийг санаж байна.

SWYX [00:00:38]: Бүх зүйл маш их хурдассан тул. Үнэндээ, хурдан гүйцгээе, Жош, та ч бас дуугарч болно. Тиймээс Датабрикс олж авсан. Би тантай Нью-Йоркт ярилцсан.

ЖОНАТАН [00:00:45]: Мозайкийг олж авсан, гэхдээ заримдаа Мозайк Databricks-ийг худалдаж авсан юм шиг санагддаг, учир нь бид энд байхдаа маш их хөгжилтэй байдаг. Гэхдээ та мэднэ, тийм ээ.

SWYX [00:00:52]: Тиймээ. Та одоо Databricks-ийн ахлах эрдэмтэн болсон гэсэн үг.

ЖОНАТАН [00:00:55]: AI-ийн ахлах эрдэмтэн. Гарчигдаа болгоомжтой байгаарай. Би Spark хэрхэн ажилладагийг ойлгохыг хүсч байгаа ч надаас хамаагүй ухаалаг хүмүүст үүнийг хойшлуулах хэрэгтэй болно.

SWYX [00:01:03]: Ойлголоо. Худалдан авалтын дараах байдлаар та юуг онцлохыг би мэдэхгүй, гэхдээ хамгийн сүүлийн үеийн мэдээ бол та нар DBRX гаргасан. Энэ нь ихэнх хүмүүсийн мэдэж байх ёстой зүйл мөн үү?

ЖОНАТАН [00:01:13]: Үнэндээ энэ бол хамгийн сүүлийн үеийн мэдээ байхаа больсон. Үнэнийг хэлэхэд, хамгийн сүүлийн үеийн мэдээ бол бид үүнийг зарласан, гэхдээ энэ нь өнгөрсөн долоо хоногт болсон манай Мэдээлэл ба хиймэл оюун ухааны дээд хэмжээний уулзалтын үеэр болсон. Тиймээс бид эцэст нь Shutterstock-той шууд хамтран ажиллаж нэг жил болж байгаа зургийн загварт текстээ гаргасан гэж 100,000 бусад зүйлсийн дунд зарласан.Үнэнийг хэлэхэд, надад итгэж болох юм шиг санагдаж, бусад хүмүүс дэлхий дээр гаргахад итгэж болохуйц загвар бүтээхийг хичээж, ажиллахад таатай байсан мэдээллийн багцыг олохын тулд маш их ажил хийсэн. Тиймээс тэр загвар өнгөрсөн долоо хоногт гарсан. Харамсалтай нь өгөгдөл нь маш эмзэг бөгөөд нэлээд үнэ цэнэтэй учраас API-ээр дамжуулан авах боломжтой.Энэ бол Shutterstock-ийн бүх бизнес нь олон талаараа, гэхдээ одоо зураг бүрийн гарал үүслийг мэддэг мэдээллийн багц дээр бэлтгэгдсэн загвар байгаа бөгөөд энэ нь үнэхээр сайн загвар юм. Тиймээс би багаараа үнэхээр бахархаж байна.

SWYX [00:01:55]: Тийм ээ, гайхалтай. Жош, танд зургийн загварын асуултуудын талаар ямар нэгэн бодол байна уу?

ЖОШ [00:01:59]: Энэ бол миний мэргэшсэн салбар биш, гэхдээ би өнгөрсөн долоо хоногт үүнийг гаргасанд баяртай байсан бөгөөд та нар тэнд байгаа бүх зүйлийн мэдээллийн тал дээр сайн ажилласанд маш их баяртай байсан. Тиймээс харахад сайхан байсан.

SWYX [00:02:09]: Миний бодлоор ер бусын зүйл бол Шуттерсток олон лабораторид олон наймаа хийдэг гэж би бодож байна. Тэгэхээр Shutterstock загвар гэж юу вэ? Энэ Shutterstock-ийн байшингийн загвар мөн үү? Энэ Shutterstock загварын Databricks-ийн хувилбар мөн үү? Энэ юу вэ?

ЖОНАТАН [00:02:22]: Миний бодож байгаа зүйл бол Shutterstock хиймэл оюун ухаанд гайхалтай бизнес хийж байгаа явдал юм. Тэдний өгөгдлийн багц нь дэлхийн хамгийн шилдэг хувьцааны зургийн мэдээллийн багц, хамгийн өргөн хүрээтэй, хамгийн том нь гэдгээрээ алдартай. Чамайг бодоход би ямар мэдээллийн багцад олон төрлийн загвар сургах гэж байна вэ? Та Shutterstock гэж нэрлэдэг. Наад зах нь би OpenAI, Google, Meta, Apple зэрэг мэдээнээс сонссон, Apple бүгд Shutterstock руу залгаж, эдгээр хэлцлийг хийсэн.Тиймээс маш олон загвар өмсөгчид Shutterstock-ийн өгөгдлийг өөртөө шингээсэн байдаг. Гэхдээ энэ бол ванилийн Shutterstock өгөгдөл дээр дангаар нь, тусгайлан бэлтгэгдсэн цорын ганц загвар юм. Бид өөр юу ч холилдсонгүй. Бид вэбийг хусаад өөр өгөгдөл, өгөгдлийн багц эсвэл үүнтэй төстэй зүйлийг олоогүй. Тиймээс энэ нь ямар нэгэн байдлаар байшин холилддог. Гэхдээ нөгөө хэсэг нь зураг бүрийн гарал үүслийг олон нийтэд мэддэг мэдээллийн багц юм.Мэдээлэл хаанаас ирсэн бэ? Энэ бол Shutterstock цуглуулга юм. Ингээд л болоо. Та мэдэж байгаа, дутуу ч үгүй, өөр юу ч биш. Мэдээжийн хэрэг, Databricks-д байхдаа, хэрэв би нэг зүйлийг сурсан бол би аж ахуйн нэгжийн үйлчлүүлэгчид болон хиймэл оюун ухаанаас юу хүсч байгааг олж мэдсэн. Тэдний хамгийн их хүсдэг нэг зүйл бол загвар өмсөгчийг сургасан мэдээллийн талаар надад юу хэлэх вэ?Энд, ялангуяа зураг нь зүгээр л төвөгтэй сэдэв болох текстээс зургийн загваруудын хувьд, ялангуяа зургийн талаар маш олон төрлийн хууль эрх зүйн яриа өрнөсөн. Хэрэв та зургууд хаанаас ирснийг мэдэхийг хүсвэл би үүнийг зааж, хэлж чадах зүйлтэй байх нь сайхан байдаг.

SWYX [00:03:36]: Өнөөдрийн бусад ангитай холбоотой учраас би Databricks-ийн талаар бага зэрэг ярих болно. Тиймээс Databricks, уучлаарай, би буруу ярьсаар байна. Энэ бол DBRX.

ЖОНАТАН [00:03:46]: DBRX, үнэндээ дуудлагын шинэчлэлт гарсан. Энэ нь одоо D-B-Rex байна. Тиймээс бид үлэг гүрвэлийн сахиус нэмэхээр шийдсэн, учир нь ямар загвар нь сахиусанд дургүй вэ? Тэгэхээр шууд утгаараа би үүнийг татаж аваасай гэж бодож байна. Бидний хийсэн жаахан тансаг үлэг гүрвэл байна. Энэ нь дэлхийн хамгийн хөөрхөн үлэг гүрвэл шиг, гэхдээ энэ нь D-B-Rex-ийн албан ёсны сахиус юм. Мөн DBRX нь амтай, гэхдээ D-B-Rex шиг, энэ нь зүгээр л...

SWYX [00:04:13]: Хэлнээс эргэлддэг. Би сахиусуудад дуртай. Компани бүр сахиустай байх ёстой шиг. Мөн Hugging Face үүнийг зөв хийсэн гэж бодож байна. Энэ бол хамгийн бага амьдрах чадвартай дүр төрх учраас танд эможи сахиус хэрэгтэй.

ЖОНАТАН [00:04:21]: Би Велоцирапторын тухай огт ярих ёсгүй байх, гэхдээ энэ бол зуны сүүлээр ярилцаж болох зүйл юм. Би үүнийг зүгээр л орхиё.

SWYX [00:04:28]: За. Энэ бол нэрсийн талаархи зөвлөгөө юм. Таны нэрс маш их альфа ялгаруулдаг юм шиг санагдаж байна. Тиймээс DBRX нь Make Sure Experts загварын гарчигны дэлгэрэнгүй мэдээллийг хурдан гаргахын тулд энэ нь нэлээд том, 132 тэрбум нийт параметрүүд бөгөөд ямар ч оролт дээр 36 тэрбум идэвхтэй, 12 их наяд жетон текст, код дээр урьдчилан бэлтгэгдсэн. Үсээ хөх өнгөөр будах хүртэл маш сайн ажилласан. Энэ бол миний өндөр түвшний дүгнэлт.

ЖОНАТАН [00:04:53]: Загвар худалдаанд гарснаас хойш хоёр долоо хоногийн дараа багтайгаа хэзээ ч бооцоо тавьж болохгүй, тэр ч байтугай хүний үнэлгээ маш муу харагдаж байсан ч гэсэн. Учир нь хэрэв та дур зоргоороо, тэд тамд цохиулна гэж бодож байсан ч гэсэн ямар ч арга байхгүй гэж бодож байсан ч мөнгө хүмүүст урам зориг өгөхөө больсон бололтой. Даргыг нь доромжлох нь хүмүүсийг урамшуулдаг. Тиймээс Жош, та үүнээс үнэхээр зөвлөгөө авах хэрэгтэй. Үсээ хөх өнгөөр будахын тулд хэн нэгэнд хангалттай мөнгө төлж чадахгүй гэдгийг та мэднэ.

ЖОШ [00:05:15]: Би дараагийн загвартаа үүнийг санаж байх болно.

SWYX [00:05:17]: Энэ нь ажилладаг. Тиймээс Imbue-ийн дараагийн загвар болох Жошийн тухай ярихад та зүгээр л сансар огторгуйн ерөнхий үзэгчдэд мэндчилгээ дэвшүүлж, өнөөдөр бидний гаргаж буй зүйлийн талаар ярихыг хүсч байгаа байх. Тиймээ.

ЖОШ [00:05:26]: Би бол Imbue-ийн гүйцэтгэх захирал Жош, бид загвараа гаргахгүй байна. Бид жингээ гаргахгүй байгаа ч бусад хүмүүст өөрсдийн загвараа хийхэд хялбар болгох олон янзын зүйлийг гаргаж байна. Тиймээс би яг одоо сангийн загваруудыг эхнээс нь сургах нь маш хэцүү, цаг хугацаа их шаарддаг, үнэтэй, эрсдэлтэй ажил юм шиг санагдаж байна, ялангуяа жижиг компаниудын хувьд. Мөн бидний гаргаж байгаа зүйлүүд үүнийг ядаж бага зэрэг хөнгөвчлөх болно гэж найдаж байна.Тиймээс бидний гаргаж буй зүйлс гурван өөр хувин болж хувирдаг. Нэг нь техник хангамж, техник хангамжийн доголдлыг арилгах дэд бүтэц, скриптүүд бөгөөд хамгийн доод түвшний зүйл хэр сайн ажиллаж байгааг ойлгох бөгөөд ингэснээр та сургалтаа байнга дахин эхлүүлэх шаардлагагүй, боломжийн хурдаар хийх боломжтой болно. Тиймээс дэд бүтэц, сургалтын скриптүүд. Хоёрдахь багц зүйл бол үнэлгээний эргэн тойронд байдаг.Үүнийг сургасны дараа энэ нь хэр сайн ажиллаж байгаа, хэр сайн ажиллаж байгааг та яаж мэдэх вэ? Бид тэнд код, үндэслэл, ойлголтын шинэ жишиг, түүнчлэн 11 өөр нээлттэй эхийн жишиг үзүүлэлтийн хувийн хувилбаруудыг гаргаж байна.Тиймээс бид усан сангийн дараалал эсвэл ANLI гэх мэт зүйлсийг даван туулж, загвар өмсөгчдөд алдаа гаргасан эсвэл хоёрдмол утгатай гэж тэмдэглэсэн бүх зүйлийг судалж, өгөгдлийг аль болох цэвэрлэсэн, мөн бидний хувийн хуулбарууд. Өгөгдлийн багц нь ийм байх ёстой гэх мэт цэвэр өрөөний хар хайрцаг шиг хийсэн хүмүүс. Энд зарим жишээ байна. Өгөгдлийн бохирдол байхгүй эсэхийг шалгахын тулд үүний өөрийн хувилбарыг хийцгээе. Өгөгдлийн бохирдол гэх мэт.Бид галт тэргэнд туршилт хийхгүй байгаа эсэхийг шалгахын тулд. Дараа нь бидний гаргаж байгаа эцсийн зүйл бол хоёрдмол утгатай байдал, асуултын чанарын талаархи 450,000 орчим хүний дүгнэлт байгаа бөгөөд бид эдгээр үнэлгээг цэвэрлэх явцад ашигласан бөгөөд бусад хүмүүст ижил төстэй загваруудыг сургахад тустай байх болно гэж найдаж байна.Гурав дахь зүйл бол CARBS, манай гиперпараметр, зардлаа мэддэг гиперпараметрийн оновчлогч бөгөөд энэ нь илүү бага хэмжээгээр туршилт хийж, дараа нь эдгээр туршилтуудыг эхний оролдлогогүйгээр илүү том масштабтай болгоход тусалсан. дахин оролдох хэрэгтэй. Та сургалтанд хамрагдахыг хүсэхгүй байна, 10, 20 өөр 70В загвар. Та эдгээр том загваруудыг авахыг үнэхээр хүсч байна.

SWYX [00:07:30]: эхний оролдлого дээр.

ЖОШ [00:07:30]: Тиймээс аливаа зүйлийг маш нарийн тааруулж, масштабын хуулиудад суралцах чадвар нь зөвхөн ижил төстэй өгөгдөл, уналтаас гадна сургалтын хурд болон бусад бүх гиперпараметрүүдэд зориулагдсан болно. Бид том загвар өмсөгчдийг сургаж байх үед эдгээр зүйлсийг хэрхэн өргөжүүлэх нь бидний хувьд маш үнэ цэнэтэй байсан. Тийм ээ, энэ бол маш олон зүйл юм.

SWYX [00:07:49]: Тийм ээ, яг. Тэгэхээр бөөн юм байна

ЖОШ [00:07:50]: Бид бүгдийг даван туулах хэрэгтэй болно.

ЖОНАТАН [00:07:52]: Тийм ээ, би үүнд ямар их баяртай байгаагаа хэлмээр байна. Энэ бол хэн ч хэзээ ч ярьдаггүй зүйл юм. Энэ бол амжилт, бүтэлгүйтлийн хоорондох ялгаа юм. Та кластераа ажиллуулж чадах уу? Та кластер дээрээ программ хангамж авч чадах уу? Юу эвдэрсэнийг олж мэдэх боломжтой юу? Учир нь алдааны хүлцэл нь сургалтын загвар өмсөгчдийн үндсэн үндсэн зарчмуудын аль нэгэнд үнэхээр баригдаагүй хэвээр байна. Тиймээс хэрэв ямар нэг зүйл эвдэрвэл та юу эвдэрсэнийг олж мэдэх хэрэгтэй, таны ажил зогсдог, та ажлаа дахин эхлүүлэх хэрэгтэй.Кластер дээр юу ч сургаж болох цэгт хүрэх нь хар дарсан зүүд юм. GPU-г бие биетэйгээ ярилцдаг MPI-ийн үндсэн ертөнц нь загвар өмсөгчийг сургах нь бүү хэл GPU-ээс сайн гүйцэтгэлтэй байх нь бүү хэл, сонирхолтой зүйлд нийцсэн загвар авах нь хангалттай хэцүү байдаг. Таны хийх ёстой маш олон түвшний зүйл байдаг. Энэ бол чухал зүйл юм.Жошийн өмнө нь хэлсэн зүйл бол биднийг энд орохоос өмнө маш олон жин байдаг гэж би бодож байна. Үүнийг хэн ч гаргаагүй.

ЖОШ [00:08:46]: Тийм ээ, энэ нь урам зоригийн нэг хэсэг байсан нь үнэндээ магтаал сайшаалтай өөр олон зүйл байдаг, гэхдээ би эдгээр бусад зүйлсийн талаар бидний маш чухал гэж бодож байгаа тийм ч их хэлэлцүүлгийг хараагүй. . Би ямар нэг утгаараа,

SWYX [00:08:56]: Жонатан өмссөндөө би маш их баяртай байна, учир нь энэ бол бага зэрэг, чи Мозайктай талх, цөцгийн тос юм. Мөн та хөгжмийн зохиолчтой зарим хэсгийг гаргасан гэж бодож байна. Өнөөдөр ийм нээлттэй эх сурвалж болох бүрэн стекийг өөр байдлаар харах нь үнэхээр сонирхолтой юм шиг санагдаж байна.

ЖОНАТАН [00:09:18]: Тийм ээ, үүнийг ойлгоход үнэхээр хэцүү байсан. Мөн ямар нэг зүйл өөрчлөгдөх болгонд, энэ нь шинэ GPU эсвэл бүр шинэ драйверын шинэчлэлт ч бай, танд шинэ бүтээлч алдаа гарч, шинэ зүйл буруугаар эргэдэг. Мөн бид InfiniBand кабелийг дата төвд ирэхээс нь өмнө хайрцагт хийсэн шиг хоёр удаа хулгайлсан гэх мэт хамгийн хачирхалтай зүйлсийг авч үзсэн. Порч Пирейт үндсэндээ манай InfiniBand кабелийг ирэхэд хэцүү үед хулгайлсан гэдгийг та мэднэ.Хамгийн хачирхалтай зүйл тохиолдсонд дуртай унтраалгатай холбоотой хачирхалтай дурсамжууд танд таалагдаж байна. GPU бүтэлгүйтдэг, санах ойн асуудалтай, санах ойн залруулга нь GPU-г тэнүүлч болж, бүх ажлыг үргэлжлүүлэхэд хүргэдэг гэх мэт миний харсан GPU-ийн дуртай алдаанууд надад бий. Хачирхалтай зүйл тохиолдож, энэ бүгдийг тодорхойлох төдийгүй эцэст нь үүнийг хэрхэн бүтээхийг олж мэдэх нь ямар нэгэн утгаараа Мозайк, одоо бидний ML санал болгож буй Датабрикийн бүх түүх юм.Үнэхээр бидний санал болгож буй зүйл бол бид энэ зовлон зүдгүүрийг туулж, үүнийг хэрхэн бүтээхээ олж мэдсэн. Энэ нь өгзөг нь өвдөж байсан.

SWYX [00:10:20]: Тийм ээ, маш их ажил байна.

ЖОШ [00:10:20]: Миний хамгийн дуртай бүтэлгүйтэл бол GPU зүгээр л буруу математик өгсөн гэж бодож байна. Хэрэв тэд алдаа өгвөл гайхалтай, учир нь та алдааг харж болно, гэхдээ тэд танд буруу математикийг буцааж өгвөл тийм ч хөгжилтэй биш юм.

SWYX [00:10:30]: Тэд хэзээ чамд буруу математик өгсөн бэ?

ЖОШ [00:10:32]: Шууд утгаараа та хоёр зүйлийг нэмж болно. Жишээлбэл, тоонууд буцаж ирдэг. Тэд байх ёстой тоо биш юм.

ЖОНАТАН [00:10:40]: Энэ үе шатанд хэлэх нь чухал гэж бодож байна, яг үүнтэй адил Жош бид хоёрын хувьд үүнийг хэлэх шаардлагагүй гэж бодож байна, гэхдээ энд хэлэх нь зүйтэй болов уу, энэ нь ямар нэг зүйл буруу байна гэсэн үг биш юм. Бидэнтэй хамт. Энэ нь NVIDIA муу ажилласан эсвэл Мелланокс муу ажил хийсэн эсвэл сервер бүтээгч, дата төвийн оператор, үүлэн үйлчилгээ үзүүлэгч гэх мэт муу ажил хийсэнтэй адил зүйл биш юм. үүнийг барихад оролцдог сая сая талууд.Бид асар том, төвөгтэй эдгээр галзуу чипүүдийг ажиллуулж байгаа бөгөөд ихэнх тохиолдолд ийм төрлийн эрчим хүч, дулааны зориулалтаар алсаас бүтээгдээгүй, үүний тулд шинэчлэгдсэн дата төвүүдэд галзуу дулаантай галзуу давтамжтайгаар жижиг транзисторууд дээр бүтээгдсэн. Ердийн CPU-тэй сайхан өдөр бүтэлгүйтэл гардаг шиг. Мөн энэ нь тийм ч сайн өдөр биш бөгөөд ихэнх тохиолдолд ердийн CPU биш юм. Бидний харж буй бүх хачирхалтай зүйлсийн талаар хошигнох нь хөгжилтэй байдаг. Энэ нь хэн нэгэн буруу зүйл хийсэн гэж хэлж болохгүй.Энэ бол нэг удаад олон мегаватт эрчим хүчээр ажилладаг асар том кластер дээр ажиллах нэг хэсэг юм.

SWYX [00:11:32]: Галзуу юм. Тиймээ.

ЖОНАТАН [00:11:33]: Бүх төрлийнх шиг, бүх зүйлд дуртай оптик кабель.

SWYX [00:11:37]: Би ийм төрлийн инфра хэсэг рүү явж эхлэх боломжийг ашиглана. Бид асар том кластеруудын тухай ярихдаа хүмүүст юу ярьж байгааг мэдрүүлэхийн тулд инфрагийн тайлбартай адил юм. Тиймээс би энд блог нийтлэлээ унших гэж байна. Энэ нийтлэл нь 511 компьютерт тархсан 4092 H100 GPU-тэй нэг кластерийн тухай юм. Тэд хязгааргүй зурвасын сүлжээг удирддаг даавууны менежерийн нэгдсэн зангилаануудыг ашигладаг. Мөн та сүлжээнийхээ талаар бага зэрэг ярьдаг.Энэ тохиргоонд та хүмүүст дуудах ер бусын зүйл байна уу?

ЖОШ [00:12:03]: Тийм ээ, үнэндээ энэ кластер нь бага зэрэг стандарт бус юм. Эдгээр том кластеруудад ванилийн тохиргоотой адил ердийн зүйл бол 127 зангилааны кластертай адил зүйл юм. 4000 биш 1024 GPU-д ойрхон байна. Энд бид илүү том кластертай байна. Том кластерууд руу орж эхлэх тусам сүлжээ нь арай илүү заншилтай болдог. Энэ нь арай илүү, арай илүү төвөгтэй юм.Эдгээр зүйлсийг бүгд ижил хурдаар ярих чадвартай болгох нь арай илүү хэцүү байдаг. Тиймээс энэ тохиолдолд энэ нь ердийнх шиг хоёр шатлалын оронд гурван түвшний сүлжээний архитектур юм. Тиймээс ихэнх кластерууд арай жижиг болсон. Илүү том хэмжээтэй болохын хэрээр энэ нь бүр ч төвөгтэй болж,

SWYX [00:12:43]: хамаагүй илүү үнэтэй.

ЖОШ [00:12:43]: Тиймээс бид өөрсдийн ажлын ачаалал, хийхийг хүсч буй зүйлээ мэдэхийн тулд ийм хэмжүүрийг сонгосон. Энэ нь бидний хувьд яг тохирсон хэмжээ байсан. Гэхдээ тийм ээ, энэ нь аль хэдийн ваниль биш гэж бодож байна. Энэ нь аль хэдийн заншлын нутаг дэвсгэрт аль хэдийн орж байна.

SWYX [00:12:54]: Тэгэхээр миний ойлгож байгаагаар та нарт байсан Voltage Park-ын гэрээтэй холбоотой ямар нэг хэсэг байгаа юу? Энэ нь тэдэнтэй хийсэн гэрээнээс олж авсан техник хангамжийн нэг хэсэг мөн үү?

ЖОШ [00:13:04]: Тийм ээ, бид Voltage Park-тай маш нягт хамтран ажиллаж, тэдний бүх кластер, дэд бүтэц, бүх зүйлийг байгуулж, юу захиалах вэ, сүлжээ хэрхэн ажиллах вэ? Бид үүнийг барьж байгуулахад маш их оролцож, авчирсан юм шиг. Энэ нийтлэл нь энэ бүгдийг авчрахтай адил үйл явцын тухай юм, өөр өөр масштабтай өөр өөр газруудад өөр өөр кластерууд байдаг.Тиймээс энэ нийтлэлд бид энэ нэг 4096 GPU-ийн тухай ярьж байна, гэхдээ тэдэнд байгаа бусад кластерууд бас бий. Мөн бид яг ямар архитектур, яг эдгээр бүрэлдэхүүн хэсгүүдийг сонгохтой холбоотой солилцоог олоход маш нягт оролцсон. Та буруу захиалга өгөхийг үнэхээр хүсэхгүй байна, учир нь үүнийг авахад хэдэн сар шаардагддаг бөгөөд энэ нь маш үнэтэй байдаг. Тийм ээ, бид үүнд туслахдаа баяртай байсан.

ЖОНАТАН [00:13:43]: Тэгээд чиний сайн кабель хулгайлагдана.

SWYX [00:13:44]: Тийм ээ, тийм, яг.

ЖОШ [00:13:47]: Бид өөрсдөдөө тохирсон, бусад үйлчлүүлэгчдэд ч ашигтай тооцоололтой болсон гэдэгт итгэлтэй байхыг хүссэн. Тиймээс бид яг хайж байсан зүйлээ олж авахын тулд ямар нэг зүйлийг зохион бүтээхэд тусалсан. Ийм төрлийн нарийн ширийн зүйлс маш чухал бөгөөд техник хангамжийн түвшинд хүрч, эдгээр сайн скриптүүдтэй байх дуртай гэдгийг бид мэдэж байсан бөгөөд бүх зүйл үүнийг ажил хэрэг болгоход чухал үүрэг гүйцэтгэнэ. Бид үүнийг хийсэндээ маш их баяртай байна.Ихэнх компаниуд ийм бүрэн стек арга барилыг баримталдаг гэж би бодохгүй байна, гэхдээ бидний хувьд энэ нь мэдээж үр дүнгээ өгсөн.

SWYX [00:14:12]: Тийм ээ, энэ нь үндсэндээ зориулалтын дагуу бүтээгдсэн. Энэ харилцаа нь сонирхолтой юм, учир нь та ихэвчлэн таны хэмжээнд ажилладаггүй бусад хүмүүсийн хувьд бид үүлэн үйлчилгээ үзүүлэгчдээс авч болох бүх зүйлийг авдаг, гэхдээ та үндсэндээ нэг машинаас дээш загвар зохион бүтээж байна. Мөн та үүнийг бага зэрэг тайлбарласан. Та энд тайлбарласан үйл явцыг бидэнд авч үзэхийг хүсч байна уу?

ЖОШ [00:14:27]: Тийм ээ, блог нийтлэл шиг, эдгээр машинуудыг онлайнаар авчрах шиг.

SWYX [00:14:32]: Тиймээ.

ЖОШ [00:14:32]: Тийм ээ, энэ үйл явц нь бидний блог нийтлэлд задалсан тул хэд хэдэн өөр давхарга байдаг гэж би бодож байна. Эхлээд бие даасан машинуудыг огт ажиллуулж, дараа нь машинуудыг бие биетэйгээ ярилцах чадвартай болгохтой адил юм. Тиймээс InfiniBand сүлжээг ажиллуулж, дараа нь зөвхөн машинууд ажиллаж, хоорондоо ярилцаж чаддаг төдийгүй бүх зүйл зөв ажиллаж байна.Энэ нь үнэхээр зөв ажиллаж байгаа мэт маш том ялгаа бий. Дараа нь та энэ бүх зүйлийг төгс зөв, сайхан, эрүүл ажиллуулсны дараа сургалтын асуудал гэх мэт програм хангамжийн өгөгдөлд орох болно. Тэгээд дараа нь та дуусаагүй хэвээр байна. Яг одоогийнх шиг, та бүрэн хурдтай бэлтгэл хийж байсан ч цаг хугацааны явцад бүх зүйл бүтэлгүйтэх болно. Бүх зүйл өөрчлөгдөх болно. Програм хангамжийн шинэ шинэчлэлтүүд гарах болно.Цаг хугацаа өнгөрөхөд галзуурахгүйгээр энэ өөрчлөлт, урсгалыг хэрхэн даван туулах вэ гэх мэт

SWYX [00:15:16]: тэгээд үсээ зулгааж,

ЖОШ [00:15:16]: аливаа зүйлийг хуулбарлах дуртай эсвэл яагаад ухралт болсныг ойлгохыг хичээдэг. Тиймээс дэд бүтцийн багаж хэрэгслийг автоматжуулах маш их ажил байна. Мөн эхний ээлжинд эдгээр зүйлсийг онлайн болгох гэх мэт эхний алхам бол энэ үед танд хэдэн зуун машин байгаа гэдгийг та мэднэ. Тиймээс та CD-ROM эсвэл USB диск шиг алхаж байгаа юм шиг, дараа нь, дараагийн, OS суулгац дээр дарах гэх мэт үүнийг гараараа залгах гэх мэт. Энэ нь тийм биш юм.Та үүнийг нэг машинд хий. Дараа нь та Металл гэдэг зүйлийг бусад бүх машиныг авчрахын тулд үйлчилгээ болгон ашигладаг. Тиймээс энэ нь бусад машинууд дээр үйлдлийн системийг суулгаж болох нэг төрлийн сервер юм. Эдгээр машинуудын тухай ярихад машин бүр хэдэн зуун мянган долларын захиалгатай байдаг шиг. Тиймээс тэд ихэвчлэн нэг төрлийн зурвасаас гадуурх удирдлагын интерфейстэй ирдэг. Тиймээс тэд тэгдэггүй, тэд өөрсдийн InfiniBand сүлжээтэй байдаг.Тэд секундэд ердийн 100 гигабит Ethernet сүлжээтэй. Эдгээр нь давхар, илүүдэл гэх мэт. Дараа нь танд энэ нэмэлт сүлжээ бий. Тиймээс та нэвтэрч, ачаалах дэлгэц шиг харж болно, эсвэл үхлийн цэнхэр дэлгэцийг харж болно. Та тэнд орж, юу болсныг харах дуртай бөгөөд энэ нь үнэхээр хөгжилтэй юм. Мөн энэ нь маш олон ажлыг автоматжуулах боломжтой болгодог.Тиймээс үүний эхлэл, блог нийтлэл нь яг бид эдгээрийг хэрхэн тохируулсан, бидний тулгарч байсан бусад алдаануудын талаар илүү дэлгэрэнгүй тайлбарласан болно. Та эдгээрийг онлайнаар авчрах үед танд алдаа гарах нь гарцаагүй. Тэд бүгд үйлдвэрт ажиллаж байсан ч ачигдаж, зарим хэсэг нь суларч, ямар нэг зүйл бүтэлгүйтэж, ямар нэг зүйл буруу болно. Тиймээс та тэдгээрийг онлайнаар авчрах үед янз бүрийн шалтгааны улмаас бүрэн ажиллахгүй байх болно.Та ийм хэмжээний машинтай ажиллаж эхлэх тусам, хэрэв ямар нэг зүйл мянгад нэг удаа тохиолдвол та үүнийг харах магадлал өндөр байдаг. Тиймээс та маш ховор, хачирхалтай зүйлсийг олж авах боломжтой, ялангуяа бид энэ техник хангамжийн нэлээд эрт бүтээгдсэн, нэлээд эрт хувилбаруудтай байсан. Эдгээр нь урьд өмнө үйлдвэрлэгдсэн анхны машинуудын нэгэн адил анхны GPU-ийн зарим нь юм. Тиймээс танд нэмэлт онцгой зүйлс байгаа.Жишээлбэл, бид Dell-тэй, жишээлбэл, програм хангамжийн түвшинд засвар хийхээр ажиллаж байсан, за, энэ нь буруу юм шиг. Энэ зүйлийг засахын тулд бид үүнийг програм хангамж дээр шинэчлэх хэрэгтэй юм шиг. Тиймээс бид Dell болон Nvidia-тай маш нягт хамтран ажилласан. Тийм ээ, би үүнийг л хэлж байна. Энэ зүйл төвөгтэй болж байгаа юм шиг. Хамгийн гол нь нэг алхам ухарч байгаа юм шиг, бид үүнийг хийж байгаа бүх шалтгаан нь энэ нь төвөгтэй байх болно гэдгийг мэдэж байсан явдал юм. Ийм бүтэлгүйтэл гарах болно.Хэрэв бид зүгээр л AWS эсвэл өөр үүлэн үйлчилгээ үзүүлэгчийг ашиглаж байгаа бол эдгээр алдаанууд байсаар байх болно, танд үүнийг мэдэх арга байхгүй, дибаг хийх арга байхгүй бөгөөд юу болж байгааг оношлох арга байхгүй. Тиймээс бид Dell-ийг дуудаж, хөөе, энэ ажиллахгүй байна гэж хэлэхийг илүүд үзэх болно. Тийм ээ, за, сайхан байна. Хамтдаа дибаг хийцгээе. Өө, би ойлгож байна. Тийм ээ, дажгүй. Бид програм хангамжийн шинэчлэлтийг илгээж, үүнийг танд зориулж засах болно. Энэ бол гайхалтай, ид шидийн хувьд бүтэлгүйтсэн гэх мэтээс хамаагүй дээр туршлага байсан.Бид дахин эхлүүлж, тэр машин алга болно гэж найдаж байна. Энэ нь тийм ч сайн газар биш юм шиг. Тийм ээ, энэ бол GPU-ийн сургалт шиг таны ганц зангилааны машин дээр ажиллаж байгаа газар руу очих явдал юм. Та эд зүйлсийг ажиглаж болно.Бидэнд Прометей гэх мэт олон тонн багаж хэрэгсэл болон эдгээр машинуудад юу болж байгааг ойлгох бусад бүх төрлийн хэрэгслүүд байдаг, учир нь та тус бүр рүү нэвтэрч, температур эсвэл үнэхээр хэрэгтэй зүйлээ харахыг хүсэхгүй байна. эдгээр бүх хэмжүүрийг цуглуулах хэрэгсэлтэй байх гэх мэт. Харамсалтай нь, үүнд зориулагдсан бүх скриптүүд нь энэ бүхэл бүтэн кластерт зориулагдсан бөгөөд энэ бүх дэд бүтэц нь бидний тодорхой зүйлийн тусгай зорилготой төстэй юм.Тиймээс энэ нь бидэнд байгаа скрипт бүр биш, та үүнийг аваад үүнийг залгаж болно гэсэн үг биш юм. Хэдийгээр бид өөрт байгаа бүх хэрэгслийг нээлттэй эх сурвалжаар хийсэн ч гэсэн та үүнийг нээхийн тулд маш их ажил хийх хэрэгтэй болно. Бидний гаргаж байгаа зүйл бол бусад хүмүүст хэрэг болохуйц олон зүйл юм. Та мод бэлтгэх агрегатор гэх мэт эдгээр зүйлсийг удирдах ямар нэгэн арга барилтай хэвээр байх болно. гэх мэт.Тэгэхээр энэ нь тэднийг ажиллаж байгаа ганц зангилаа шиг болгож байна. Тэндээс, энэ нь орж ирдэг, хэрэв та хүсвэл би үргэлжлүүлж байгаадаа баяртай байна. За, би зүгээр л Жонд боломжоо үлдээмээр байна

SWYX [00:18:53]: Түүний удирдаж байгаагаас өөр зүйл байвал тайлбар өгөх.

ЖОНАТАН [00:18:57]: Өө, би үүнийг дэмжиж, энэ новшийг хэцүү гэж хэлье гэж хэлэх гэсэн юм. Энэ үнэхээр, үнэхээр хэцүү юм шиг. Мөн та нар мэдэж байгаа, надад Вуэ хотын хүмүүст үүнийг эхнээс нь барьж байсан тул тусгай хэрэгсэл байгаа. Датабрикс болон Мозайк дээр бид ихэвчлэн үүлэн үйлчилгээ үзүүлэгчидтэй ажилладаг, учир нь эдгээр зүйлсийн зарим нь зүгээр л, зохицуулах зүйл хэтэрхий их байдаг. Энэ нь төвөгтэй юм. Харьцах зүйл их байна.Хэрэв та дата төвийн оператор бол энэ нь бие махбодийн аюулгүй байдал гэх мэт зүйлд ч ордоггүй. Энэ нь хязгааргүй төвөгтэй болж, та хаа нэгтээ хийсвэрлэх хэрэгтэй болдог. Дараа нь та өөрсдийн захиалгат чипийг бүтээж байгаа хүмүүст хүрч, сайн бурхан гэх мэт.

SWYX [00:19:36]: Бурхан минь, энэ чинь шүү дээ.

ЖОНАТАН [00:19:38]: Хэрэв та эдгээр хүмүүсийн нэг бол яг одоо үнэхээр, үнэхээр сонирхолтой цагийг өнгөрөөж байгаа хиймэл оюун ухааны чипийн стартапуудад нэгийг нь асгаж байна. . Гэхдээ энэ зүйл үнэхээр хэцүү байна. Гэхдээ өөр маш олон хэцүү зүйл байгаа учраас бид энэ тухай нэг их ярьдаггүй гэж би бодож байна. Гэхдээ бусад хэцүү зүйл бол энэ үед хүн бүр сайн мэддэг болсон гэж би бодож байна.Энэ бол миний харж байгаагүй, хэзээ ч иж бүрэн хэлэлцүүлэг байгаагүй гэж бодож байна.

SWYX [00:20:00]: Тийм ээ, миний сэтгэгдэл бол Мозайк та нар Имбюгийн бүтээх ёстой байсан шиг дээш доош эргэлдэх машинуудын өөрийн гэсэн программ хангамжтай байх явдал юм. Гэхдээ Imbue, энэ нь Imbue шиг сонсогдож магадгүй, та нар илүү дүүрэн болсон. Би үүнийг хэрхэн дүрслэхээ мэдэхгүй байна. Мозайк Dell-тэй тэдний программ хангамж шиг ажиллахгүй байгаа юм шиг.

ЖОНАТАН [00:20:21]: Үгүй, үгүй, бид ихэвчлэн Dell-ийн программ хангамжаас үүлэн үйлчилгээ үзүүлэгчээ сонгох эсвэл танд юу байгааг сонгох гэх мэтээр ажилладаг. Энэ бол миний бодлоор нэг зүйл, би мэдэхгүй байна, Жош, чи намайг энэ талаар засч залруулж чадна. Хэрэв та юу болж байгаагаас үл хамааран бүхэл бүтэн стекийг туулахгүй байх сургалтанд хамрагдаж байгаа бол энэ нь боломжгүй зүйл юм.Үүлэн үйлчилгээ үзүүлэгчтэй харьцах гол зорилго нь эрчим хүчний гэрээний талаар бодох шаардлагагүй байсан ч би ямар нэгэн байдлаар үүлэн үйлчилгээ үзүүлэгчтэй эрчим хүчний гэрээний талаар ярилцсаар байна. Ямар нэгэн байдлаар би тэднээс энэ удаад ямар InfiniBand үйлчилгээ үзүүлэгчийг ашигласан талаар асууж байна. Энэ нь тухайн үүлэн үйлчилгээ үзүүлэгч дээр тааралдсан кабелийн муу багцын нэг хэсэг мөн үү, эсвэл танд юу байгаа талаар. Эсвэл бид таны үйлчилгээ үзүүлэгчийг сонгохоос програм хангамжийн шинэчлэлтийн талаар ярьж байна. Та үүнийг хийж чадахгүй.Тэдэнд хэзээ ямар үйлчилгээ үзүүлэгч рүү буцааж илгээх талаар санаа зовж буй дата төвийн ажилтнууд байх нь тохиромжтой бөгөөд гадаа хулгайд алдахгүйн тулд InfiniBand кабелийг хүлээж болох хүмүүстэй байх нь тохиромжтой. Гэхдээ, хэрэв та дэд бүтцийн талаар огт бодож байгаа бол бүрэн дүүрэн явахгүй байх боломжгүй юм. Мэдэхгүй ээ, Жош, намайг засаарай. Үгүй ээ, би үүнийг зөв гэж бодож байна.

ЖОШ [00:21:17]: Энэ бол бидний анхнаасаа л хүлээж байсан зүйл бол бид энд байгаа нарийн ширийн зүйлийг зайлшгүй хийх ёстой. Бид үүнийг дөнгөж төлөвлөж байгаад баяртай байна. Үүнийг шууд хянах нь бидний өнцгөөс харахад илүү хялбар болсон гэж би бодож байна. Бид дата төв рүү явдаг, ханган нийлүүлэгчид очдог үүлэн үйлчилгээ үзүүлэгч рүү очихын оронд шууд NVIDIA эсвэл Dell рүү очиж болно.

SWYX [00:21:37]: эсвэл дата төв,

ЖОШ [00:21:37]: Хариуцлагатай байсан хэн ч байсан, хүүе, энэ зүйлийг өөрчлөх хэрэгтэй. Тэгээд тэд өө, зүгээр. Тийм ээ, энэ бол бидний үүрэг. Гайхалтай, бид үүнийг засаж чадна. Тиймээс эдгээр алдааг засах нь нэмэлт цахим шуудангаар дамжихаас хамаагүй хялбар байсан.

SWYX [00:21:48]: Үзэсгэлэнгийн өмнөх үеэр бидний ярилцсан зүйл бол та найдвартай байдлын кластертаа эрхий хурууны дүрэмтэй байсан. Та энд нийтлэлдээ ерөнхийдөө долоо хоног бүр машинуудынхаа 3 орчим хувь нь эвдэрнэ гэж найдаж байна. Тэгэхээр та үндсэндээ нэг жилийн дотор бүх машинуудаа эргүүлэх болно.

ЖОШ [00:22:04]: Нийтлэлд дурдсанчлан. Хэрэв энэ нь нэг төрлийн бүтэлгүйтэл байсан бол энэ нь үнэн байх болно. Гэхдээ нийтлэлд дурдсанчлан энэ нь ихэвчлэн ийм асуудалтай зангилаа байдаг. Тодруулж хэлбэл, энэ нь бусад хүмүүсээс сонссон тоо нь тэдний 3% орчим байгаа юм шиг байна. Бид бүтэлгүйтлийн түвшин тийм ч өндөр байгаа гэж би бодохгүй байна.Манайх үнэндээ үүнээс арай доогуур байгаа гэж би бодож байна, магадгүй бид эдгээр бүтэлгүйтлээс илүү их, магадгүй илүү олон тооны зүйлийг ухаж, үүний үндсэн шалтгааныг олж мэдээд, өө, яг ийм зүйл буруу болж байна.

SWYX [00:22:33]: Бид үүнийг яаж засах вэ?

ЖОШ [00:22:33]: Бид үүнээс хэрхэн сэргийлэх вэ? Хэрэв ийм зүйл тохиолдвол энэ нь үйл явцын тодорхой хэсгийг эзэмшдэг хэн бүхэнд буцаж очихын тулд бид үүнийг автоматжуулсан шалгалтыг хэрхэн хийх вэ, тэд үүнийг даруй засах боломжтой.

SWYX [00:22:43]: Энэ бол таны эрүүл мэндийн үзлэг болох нээлттэй эх сурвалжийн нэг хэсэг юм, тийм ээ? Та NIC эрүүл мэндийн үзлэг, GPU эрүүл мэндийн үзлэг, сансрын эрүүл мэндийн үзлэг, Docker D мессежийг авсан. Энэ юу болохыг би мэдэхгүй.

ЖОШ [00:22:52]: Энэ бол зүгээр л маш олон зүйл.

SWYX [00:22:54]: Тиймээ.

ЖОШ [00:22:55]: Эдгээр машинууд ачаалах үед заримдаа тэр чигтээ цэвэрхэн ачаалдаггүй гэдгийг бид ойлгосон. Эсвэл дахин ачаалах үед тэдэнд өмнө нь ажиллаж байхдаа байгаагүй асуудлууд байсан бөгөөд энэ нь урам хугарах зүйл байсан. Хэрэв та компьютерээ дахин асаавал ихэвчлэн

SWYX [00:23:08]: сайжирна.

ЖОШ [00:23:08]: Энд та дахин эхлүүлнэ үү. Сайжраагүй.

SWYX [00:23:10]: Энэ нь улам дордов.

ЖОШ [00:23:10]: Энэ нь маш их урам хугарсан. Тиймээс энэхүү эрүүл мэндийн үзлэг нь таны компьютерийн ялгаруулж буй бүртгэлийн мөр бүртэй адил D мессеж шиг ачаалахаас бидний харж байсан тодорхой мөр бүрийг хардаг.

SWYX [00:23:21]: Тэгээд ингэж хэлэв.

ЖОШ [00:23:21]: Бид үүнийг өмнө нь харж байсан уу?

SWYX [00:23:23]: Үүнийг хүлээж байна уу?

ЖОШ [00:23:23]: Энэ зөв дарааллаар байна уу? Эсвэл ямар нэг зүйл буруу байна уу? Хэрэв ямар нэг зүйл байхгүй бол би "За, гайхалтай" гэж хэлье. Яг одоогийнх шиг урт, илүү олон ангиллын жагсаалт шиг, зүгээр, гайхалтай. Үүнийг хүлээн зөвшөөрөх боломжтой юу?

SWYX [00:23:33]: Бид үүнийг дарцаглах ёстой юу?

ЖОШ [00:23:33]: Хэн нэгэн үүнийг харах ёстой юу? Тиймээс бид юу ч болохгүй байгаа эсэхийг шалгахын тулд эдгээр компьютерууд дээр юу болж байгааг маш нарийн ширийн зүйлээр харж байна. Энэ нь маш чухал, учир нь үүнгүйгээр, хэрэв та Жонатаны хэлсэнчлэн бэлтгэлээ хийж байгаа бол энэ зүйл удаан байна, чи юу хийх ёстой вэ? Тийм үү?

SWYX [00:23:49]: Чам шиг,

ЖОШ [00:23:49]: Та эдгээр бүх 4000 GPU-ийн нэгэн адил ажиллах ёстой шигээ ажиллаж байгаа гэдэгт итгэлтэй байхыг үнэхээр хүсч байна.

SWYX [00:23:54]: Бид үүнийг мэднэ.

ЖОШ [00:23:54]: Хэрэв энэ нь удаан байвал энэ нь дараа нь програм хангамжаас илрүүлэхэд үнэхээр хэцүү байсан өмнөх зүйлээс биш харин бид тохиргоогоо будлиулсан эсвэл өөр зүйлээс болсонтой холбоотой юм.

ЖОНАТАН [00:24:01]: Тиймээ. Би зүгээр л асуухыг сонирхож байна гэж бодож байна.

SWYX [00:24:03]: чи мэднэ дээ,

ЖОНАТАН [00:24:03]: Та өөр H100 кластер байгуулах гэж байна гэж бодъё, энэ нь өөр дата төвд байсан гэж бодъё. Мөн худалдагч нь Dell байхын оронд энэ нь супер микро байсан эсвэл танд юу байна. Энэ нь хэр их давтагдах вэ? Мөн та үүнийг хэр ихийг дахин хийх ёстой вэ? Би, чи мэдэж байгаа, би үнэхээр мэдэхгүй байна.

SWYX [00:24:18]: Тохиромжтой хэмжээ.

ЖОШ [00:24:19]: Хоёр дахь удаагаа илүү хурдан болно гэж бодож байна. Бидэнд маш олон сургамж байсан гэж би бодож байна. Мөн түүнчлэн блог нийтлэл,

SWYX [00:24:24]: чи мэднэ, тийм ээ,

ЖОШ [00:24:24]: Бид эрүүл мэндийн үзлэгт хамрагдаж, зарим скриптүүдийг гаргаж байна, гэхдээ маш олон үнэ цэнэтэй зүйл нь блог нийтлэлд байгаа бөгөөд бидний сурсан сургамжуудын дэлгэрэнгүй мэдээлэл, төрлөөр нь байдаг. Бидэнд тохиолдсон алдаа, алдаа. Бид эдгээрийг бусад хүмүүст аль болох ил гаргахыг хичээсэн.

SWYX [00:24:36]: Эдгээрээс суралцах боломжтой

ЖОШ [00:24:36]: мөн адил алдаа, бүтэлгүйтлээс зайлсхий. Гэхдээ энэ нь илүү хурдан болно гэж би бодож байна.

SWYX [00:24:41]: Хэдийгээр тийм ээ,

ЖОШ [00:24:41]: Мэдээж арай өөр зүйл байх байсан. Өөр өөр CPU байх байсан байх

SWYX [00:24:46]: эсвэл юу ч байсан,

ЖОШ [00:24:46]: гэхдээ би ийм олон зүйл бага гэж бодож байна.

SWYX [00:24:49]: бага байна,

ЖОШ [00:24:49]: Энэ нь тийм ч бага хувьсах чадвартай. Миний бодлоор ихэнх нь хоёр дахь удаагаа хэрэгжинэ. Хэдийгээр дараагийн удаа гэдэгт итгэлтэй байна

SWYX [00:24:56]: Бид нэгийг барьж байна,

ЖОШ [00:24:56]: Энэ нь магадгүй 10 дахин том хэмжээтэй, өөр чип эсвэл үүнтэй төстэй зүйл байх болно.

SWYX [00:25:00]: Тэгээд хэн мэдэх вэ?

ЖОШ [00:25:01]: Тийм ээ, Kinect X8-тай,

ЖОНАТАН [00:25:02]: Энэ нь өөрийн гэсэн хөгжилтэй зан авир, тэр бүх сайн зүйлтэй байх болно. Тиймээ.

SWYX [00:25:06]: Хүмүүсийн ярилцдаггүй зүйл байж магадгүй, та блогтоо энэ талаар огт ярьдаггүй, гэхдээ би үргэлж ийм хэмжээний ажилд боломжийн цагийн хуваарь юу вэ гэж гайхдаг. , ядаж эхний үе шатууд? Мөн багийн бүрэлдэхүүн кластер байгуулахад ямар харагддаг вэ? Энэ бүхнийг хэрэгжүүлэхийн тулд танд ихэвчлэн ямар ур чадвар шаардагддаг вэ?

ЖОШ [00:25:27]: Би ердийн зүйлтэй үнэхээр ярьж чадахгүй байна. Миний бахархах нэг зүйл бол ийм инээдтэй жижиг багтай бид хичнээн их зүйлийг хийж чадсан юм бэ. Манай дэд бүтцийн баг хэдэн зүйл шатаж, хэр их бүтээн байгуулалт хийх шаардлагатай байгаагаас шалтгаалж долоо хоног бүр хэлбэлздэг шиг. Гэхдээ энэ нь гурваас зургаан хүний хооронд жижиг юм шиг. Энэ нь тонн тонн, тонн инженерээс бүрдсэн асар том баг шиг биш юм. Гэхдээ тэдгээр хүмүүс хийж байгаа зүйлдээ маш, маш сайн байдаг.Тиймээс энэ нь бидэнд эдгээр зүйлсээс маш их миль авах боломжийг олгосон юм. Бид бүгдийг бүтээж байгаа юм биш биз дээ? Энэ бүх зүйлийг гурваас зургаан хүн бүтээдэг гэсэн үг биш юм. Би Dell, H5, NVIDIA болон маш их ажил хийсэн бусад хүмүүст маш их баярлалаа гэж хэлмээр байна, энэ кластерийг авчрах дуртай, 4000 GPU, гурван түвшний сүлжээ, сүлжээний архитектуртай, танд 12,000 кабель байгаа. Тэгэхээр энэ нь залгах шаардлагатай 24,000 зүйл юм.Энэ нь зүгээр л залгахад маш олон зүйл юм шиг, тийм ээ? Мөн та үүнийг будлиулахыг хүсэхгүй байна. Тус бүрийг зөв хийх хэрэгтэй. Жаахан сул байгаа юм шиг. Энэ нь үнэхээр ажиллахгүй байгаа юм шиг.

SWYX [00:26:23]: Хэрэв та үүнийг эвдвэл

ЖОШ [00:26:23]: Та үүнийг солих хэрэгтэй. Маш их ажил байгаа юм шиг

SWYX [00:26:26]: Энэ нь үүнд ордог.

ЖОШ [00:26:27]: Тиймээ.

SWYX [00:26:28]: Тэгээд чи мэднэ дээ,

ЖОШ [00:26:28]: яг л ийм л байна. Хэрэв та бүх зүйлийг анх удаа зөв хийвэл тэр.

SWYX [00:26:32]: Хэрэв тэгээгүй бол

ЖОШ [00:26:32]: юуг ч засах хэрэгтэй. Гэхдээ та ямар нэг зүйлийг солих хэрэгтэй болно, энэ нь бүх утсыг салгах, бүх GPU-г гаргах, зарим кабелийг гаргах, зарим кабелийг засах, бүгдийг нь зөв буцааж тавих, буцааж оруулах, тэр болгонд үүнийг хийх гэх мэт. Тиймээс Dell, NVIDIA болон H5-д маш олон хүмүүс байсан бөгөөд энэ нь бүгд энэ зүйлд нэг тонн тусалсан. Dell багийн яг хэмжээг би мэдэхгүй. Энэ нь бас цаг хугацааны явцад хэлбэлздэг.

SWYX [00:26:55]: Тийм ээ, маш сайн. Дараа нь та бүх техник хангамжийг тохируулсан бөгөөд одоо та үүнийг нэг зангилаа болгож байна. Залуус та нарт яг л MFU-г хянахтай адил урт тайлбар байдаг, тийм ээ? Мөн нөхцөл байдал бүр юуг илтгэж болох вэ. Эндээс миний харсан хамгийн сонирхолтой зүйлсийн нэг бол хэрэв сургалт нэн даруй 60-80% MFU-д эхэлбэл ямар нэг зүйл буруу байна.

SWYX [00:27:24]: Гэхдээ та ямар байдгийг та нар мэдэж байгаа, зарим анекдотууд эсвэл энд байгаа онцлох хувилбаруудыг та зөн совингийн эсрэг эсвэл супер сонирхолтой гэж нэрлэж болно.

ЖОШ [00:27:36]: Тэд маш олон байна. Миний бодлоор тэдний нэг нь энэ үед нийтлэг мэдлэг шиг нэлээд түгээмэл байж магадгүй юм. Гэхдээ бид нэг төрлийн зүйлтэй байсан юм шиг

SWYX [00:27:46]: Энэ яг аль нь байсан бэ?

ЖОШ [00:27:47]: Би MFU-ийн төлөө бодож байна, цаг хугацаа өнгөрөх тусам аажмаар муудаж байгаа юм шиг. Нэг нь, бид анх удаагаа юу болоод байгааг хараад юу болоод байна гэж бодож байна? Яагаад гэвэл энэ нь арай дордож байна вэ? Энэ их хачин юм. Залхуу, ядарч байна уу гэх мэт. Дулаан уу? Юу болоод байна вэ? Мөн энэ тохиолдолд санах ойн хуваагдал байсан. Та хэдэн зуун машинтай учраас тэд арай өөр удаа хог цуглуулж байна.Тэгээд дараа нь тэд бага зэрэг холдож, бага зэрэг догдолж, эцэст нь тэд бүгд санамсаргүй цагт тохиолдох болно. Яг л алхам бүрээ үнэхээр будлиулдаг шиг. Тиймээс та зүгээр л хогны цуглуулгаа унтраагаад өдөр гэж нэрлэ, үндсэндээ,

SWYX [00:28:20]: үнэнийг хэлэхэд.

ЖОШ [00:28:20]: Хэрэв та энэ талаар бага зэрэг боловсронгуй байхыг хүсч байвал өөр зүйл хийж болно. Гэхдээ та зүгээр л гараар хийж болно

ЖОНАТАН [00:28:25]: бүгдийг нь тодорхой хугацаанд хогоо цуглуул. Бидний хийсэн зүйл шиг. Бидэнд зүгээр л хог цуглуулах дуудлага ирсэн бөгөөд энэ нь зүгээр л ажилладаг. Гэхдээ би яг ижил зүйлийг харсан.

ЖОШ [00:28:33]: Тийм ээ, тийм ээ, яг. Тэгээд нэг нь инээдтэй юм байна гэж бодсон. Тэгээд бид үүнийг хайж олоод бодит дуудлагыг олсон. Дахин хэлэхэд энэ нь сайн хэрэгсэлтэй байх дуртай болж байна. Тиймээс бид С-ийн бодит ул мөрийг харж, "За, сайхан байна" гэх мэт үнэхээр сайн хэрэгсэлтэй байсан. Энэ бол маш их цаг зарцуулж байгаа зүйл юм. Эсвэл энэ бол тийм ч их дараалалд ордоггүй зүйл юм. Өө, би үүнийг хог цуглуулах гэж бодож байна. За, дажгүй.

SWYX [00:28:52]: Сонирхолтой.

ЖОШ [00:28:52]: Тийм ээ, зүгээр л тайлж үзье.

SWYX [00:28:54]: За, гайхалтай.

ЖОШ [00:28:54]: Ийм л байсан. Одоо бид үүнийг засаж чадна. Тиймээс, хэрэв та сайн хэрэгсэлтэй бол алдаа нь тийм ч хэцүү биш юм шиг. Гэхдээ хэрэв танд сайн хэрэгсэл байхгүй бол алдаанууд маш хэцүү байж болно. Үүнтэй адил дулааны хувьд бидний харсан өөр нэг зүйл бол CPU тохируулж байна. За, та CPU-ийн тохируулагчийг хянаж байгаа эсэх, эсвэл дулааныг хянаж байгаа эсэхийг харахад хялбар байдаг. Хэрэв та үүнийг хянахгүй бол энэ нь яагаад гэнэт удааширч байгааг мэдэхэд үнэхээр хэцүү байдаг.Би бас хэсэг дээр анзаарсан

SWYX [00:29:17]: Та FSDP-ийн талаар 0.3-тай дурдсан. Үнэндээ бид уулзсан, би iClear-д очсон бөгөөд DSP багийн Гуанхуа тэнд 0++ илтгэл тавьж байсан. Та ямар нэгэн дуудлага хийхийг хүсч байна уу гэж би гайхаж байсан. Таны үйл явцад маш их тус болсон нээлттэй эх сурвалж эсвэл нээлттэй номын сан эсвэл хэрэгжүүлэх багийг нээх. Бид үнэхээр дууссан гэж бодож байна.

ЖОШ [00:29:39]: Өөрсдийн шугам хоолой руу татахын тулд олон янзын зүйлээс татах. Тиймээс бид NVIDIA-ийн Megatron-ийн зүйлсийг ашигладаг. Бид магадгүй DeepSpeed-ийн зүйлсийг ашигладаг. Бид олон янзын газраас олон янзын хэсгүүдийг татсан гэж бодож байна. Тиймээс энэ бүх нээлттэй эх сурвалжийг жишээ болгон ажиллаж байгааг харахад үнэхээр сайхан байсан.Та эдгээрийг тааруулж чаддаг учраас эдгээрийг бодитоор тааруулахын тулд хийсэн бүх хүчин чармайлтыг би үнэхээр үнэлж байна гэж бодож байна, гэхдээ энэ зүйлийг тааруулж, энэ бүх зүйлийг эхнээс нь хийх нь маш их ажил юм. Ажлын жишээ шиг байх нь үнэхээр сайхан юм. Миний бодлоор эдгээр нь зөвхөн DeepSpeed болон Megatron гэсэн хоёр том нь байж магадгүй, гэхдээ өөр зүйл байгаа байх.

SWYX [00:30:13]: Экосистемд та энд нээлттэй эх сурвалжтай зүйл байх ёстой, гэхдээ тийм биш юм шиг, хүн бүр үүнийг бүтээдэг юм шиг дууддаг тодорхой зүйл байдаг уу? Өөрсдөө. Хүн бүр файлын системийн талаар эцэст нь ярьдаг учраас би файлын системтэй ямар нэг зүйл хэлмээр байна.

ЖОШ [00:30:28]: Файлын систем нь үнэндээ,

SWYX [00:30:30]: Бид ямар нэг зүйл хийсэн гэсэн үг

ЖОШ [00:30:31]: тэнд тэнэг юм шиг. Бид S3-ийн муухай хувилбар шиг өөрийн гэсэн орон нутгийн тольтой юм шиг.

SWYX [00:30:38]: Энэ бол орон нутгийн,

ЖОШ [00:30:38]: гэхдээ энэ бол маш энгийн зохиол, тийм ээ?

SWYX [00:30:41]: Миний бодлоор бид ингэж гүйдэг

ЖОШ [00:30:41]: файлд үйлчилдэг шиг жижигхэн вэб сервер, дараа нь тэдгээрийг байршуулах боломжтой.

SWYX [00:30:45]: мөн татаж аваарай.

ЖОШ [00:30:45]: За, гайхалтай. Бидний үүнийг хийсэн шалтгааны нэг хэсэг нь манай интернет холболт юм

SWYX [00:30:50]: эхэнд

ЖОШ [00:30:50]: бүрэн хурдтай байсангүй

SWYX [00:30:52]: бидний хийх байсан нэг

ЖОШ [00:30:52]: эцэст нь байна. Тиймээс бид интернетийн зурвасын өргөний хувьд арай илүү гацсан байна. Тэгээд бидэнд ийм байсан. Бид Минио болон бусад үйлчилгээнүүд шиг олон үйлчилгээг үзсэн гэж бодож байна, гэхдээ эдгээрийн ихэнх нь нэмэлт зардал, засвар үйлчилгээ ихтэй байдаг. Мөн бид аль хэдийн маш их дэд бүтэцтэй болсон тул

SWYX [00:31:09]: шийдвэрлэх,

ЖОШ [00:31:09]: Бид үүл үйлчилгээ үзүүлэгч гэх мэт өөр зүйлийг авчирч, ямар нэг зүйлийг виртуалчлахыг хүсээгүй.

SWYX [00:31:14]: Бид зүгээр л энгийн зүйл хүссэн.

ЖОШ [00:31:14]: Тиймээс бид үүнтэй хамт явсан нь маш их тус болсон. Манай багаж хэрэгсэл шиг

SWYX [00:31:19]: ихэвчлэн маш энгийн байдаг.

ЖОШ [00:31:19]: Энэ нь Bash and Python, SSH, Docker шиг юм. Дэд бүтцийн давхарга багатай, хийсвэрлэлийн давхарга багатай гэх мэт дибаг хийхэд хялбар болгохын тулд бид бүх зүйлийг энгийн байлгахыг хүсч байгаа шиг. Бид Kubernetes ашигладаггүй шиг,

SWYX [00:31:30]: жишээ нь,

ЖОШ [00:31:30]: мөн бид эдгээр зүйлсийг шууд эхлүүлдэг. Мөн энэ аргаар дибаг хийх нь илүү хялбар болсон. Миний дуудах нэг хэрэгсэл бол Uber-ээс Кракен юм. Энэ гайхалтай байсан. Бид тэр хэрэгсэлд дуртай. Бид бага зэрэг эргэлзэж байсан. Энэ юу вэ?

SWYX [00:31:44]: Уучлаарай. Тиймээ.

ЖОШ [00:31:45]: Тэгэхээр Кракен бол энэ, тийм ээ, энэ бол Докерын бүртгэл шиг тархсан бөгөөд үндсэндээ BitTorrent-ийг машинуудын хооронд ямар нэгэн сайхан оновчтой байдлаар шилжүүлэхэд ашигладаг. Эхэндээ гэнэн арга нь танд кластераас гадуур байсан Докерын бүртгэлтэй адил юм. Тиймээс бид зургийг өөрчлөх болгонд 500 машин тус бүрийг татаж авах шаардлагатай олон гигабайт байдаг.

SWYX [00:32:07]: Тэгэхээр энэ нь зүгээр л болно

ЖОШ [00:32:07]: үнэхээр урт хугацаа. Тэгэхээр энэ зүйлийн хийдэг зүйл бол зөвхөн нэг нь үүнийг татаж аваад дараа нь тэд бүгд бие биедээ бүх хэсгийг цацдаг шиг юм. Мөн энэ нь эдгээр зургуудыг буулгах үнэхээр сайхан, хурдан арга байсан юм. Мөн энэ нь маш бат бөх байсан.

SWYX [00:32:19]: Маш их байгаа юм шиг

ЖОШ [00:32:19]: Бүрээсний доор явж байна, гэхдээ энэ нь бидэнд ямар ч алдаа гаргаагүй нь үнэхээр гайхалтай хэрэгсэл гэж би бодож байна. Гайхалтай.

SWYX [00:32:26]: Тиймээ. Мэдээллийн хувьд энэ бол миний бүх асуулт байх гэж бодож байна. Жон, чамд асуух зүйл байсан эсэхийг би мэдэхгүй.

ЖОНАТАН [00:32:33]: Үгүй ээ, миний хэлж чадах зүйл бол яг адилхан

SWYX [00:32:36]: маш олон газар, та нар мэдэж байгаа, тэд үүнийг хийсэн

ЖОНАТАН [00:32:38]: үүнийг нэмэх нэгийг харж байна. Миний бодлоор нэг том ялгаа нь философийн хувьд бид аль болох их бараа бүтээгдэхүүнийг стандартчилахыг хичээсэн байх, яагаад гэвэл би үүнийг хийх гэж оролдсон шалтгааныг асуусан гэж бодож байна.

SWYX [00:32:50]: олон өөр дээр

ЖОНАТАН [00:32:50]: Дэд бүтцийн хэсгүүд яг одоо бид зургаа, долоон өөр үүл шиг гүйж байна гэж бодож байна. Мөн хүн бүр арай өөр зүйл хийсэн. Бурхан минь, таны мэдэж байгаагаар жижиг ялгаанууд нийлдэг, та харсан. Тэгээд та нар мэдэж байгаа.

SWYX [00:33:04]: Манай философи ямар ч байсан

ЖОНАТАН [00:33:05]: Бид стандартчилах боломжтой, стандартчилъя. FSDB тавиур дээрх ваниль шиг.

SWYX [00:33:10]: Тэгээд чи мэднэ дээ,

ЖОНАТАН [00:33:10]: Бид өөрсдийн өгөгдөл ачигчаа бичсэн, гэхдээ бид үүнийг дэд бүтэц болон мэдээллийн санд аль болох стандарт болгохыг хичээсэн, учир нь бүх зүйл үнэхээр төвөгтэй болж эхэлдэг.

SWYX [00:33:18]: эсвэл бидний ашигладаг шиг

ЖОНАТАН [00:33:18]: Kubernetes маш өргөн хүрээтэй, учир нь энэ нь бидэнд ядаж нэг төрлийн API-г өгдөг. Энэ нь бусад бүх зүйлд тодорхой хэмжээгээр бидний техник хангамжийн хийсвэрлэлийн давхарга юм шиг. Тэгэхээр энэ нь зүгээр л философийн ялгаа юм. Гэхдээ өөрөөр хэлбэл, тийм ээ, энэ зүйл үнэхээр, үнэхээр хэцүү юм. Жишээлбэл, та зүгээр л GPT-тэй ярилцахдаа үүний хэд нь бидний төлөө хийгддэгийг бид энгийн зүйл мэт хүлээж авах шиг санагдаж байна.Бурхан минь, үүний доор болж буй бүх зүйл, машинууд асч байгаа нь гайхамшиг юм, тэр бүү хэл олон машин дээр дүгнэлт хийж, олон мянган машинд сургагдсан аварга том хэлний загварыг асууж болно. машинууд. Бага зэргийн гайхамшиг шиг.

SWYX [00:33:54]: Тийм ээ, энэ бол бидний энэ өдрүүдэд энгийн гэж үздэг ганц API дуудлагаар дууддаг гайхалтай их хүч юм. Энэ нь утгагүй юм. Тийм ээ, би Кубернетес шиг, Кубернетесийн тухай тэр цэг шиг, би AWS-ийн хуучин ажилтны хувьд хэлье, энэ нь хэзээ нэгэн цагт үүнийг илүү хийсвэр эсвэл агностик болгоход тохиромжтой юм шиг санагдаж байна, учир нь та өөрийн тохиргоог давтахыг хүсэх болно. Бидэнд өөрийн гэсэн тохиргоо бий.

ЖОШ [00:34:19]: нэг төрлийн солих. Энэ бол зүгээр л Kubernetes-ийн илүү энгийн хувилбар юм. Kubernetes нь туршилт явуулахад бус харин үйлчилгээ явуулахад зориулагдсан юм. Энэ нь үндсэн архитектур шиг биш юм шиг. Тиймээс бидний хувьд гайхалтай бүх зүйл байгаа юм шиг та туршилт хийх гэж байна. Тэгэхээр та үүнийг дуусгахыг хүсч байна, тийм үү?

SWYX [00:34:34]: За, гайхалтай.

ЖОШ [00:34:34]: Примитивүүд нь арай өөр хэв маягийн эргэн тойронд бүтээгдсэн мэт. Энэ нь эдгээр машинуудын мөн чанар алга болох нь илүү хялбар байдаг шиг илүү хялбар болгодог. Дэд бүтцийг шинэчлэхийн тулд тэдгээрийг дахин ачаалах шаардлагатай болно. Тэд GPU-д ямар нэгэн зүйл тохиолдохыг хүсэх болно. Бүтэлгүйтэл нь манай дэд бүтцийн үндсэн хэсэг шиг үүнийг жигнэсэнтэй адил юм. Тэгэхээр бидэнд хийсвэрлэл байхгүй гэсэн үг биш юм.Энэ нь бидний хийж буй тодорхой ажилд илүү энгийн, илүү тохирсон хийсвэрлэл юм.

ЖОНАТАН [00:34:58]: Тийм ээ, энэ бүхэн таны зорилго юу байхаас шалтгаална гэж бодож байна. Яг одоо миний бодлоор гүн гүнзгий суралцах олон зүйлд тулгарч буй бэрхшээл бол хүмүүс дуртай байхыг хичээдэг, хүмүүс ихэвчлэн ажлаа хийхэд шаардагдахаас илүү төвөгтэй зүйлийг бүтээдэг. Мөн хүндрэл нь бүх зүйлийн дайсан юм. Та мэдэж байгаа, хийх ёстойгоос илүү сонирхолтой параллелизмын стратегийг бүү ашигла. Заавал илүү сонирхолтой номын сангуудыг бүү ашигла.

SWYX [00:35:18]: Юу ч битгий хий

ЖОНАТАН [00:35:18]: Энэ нь хангалттай хэцүү учраас хийх шаардлагагүй. Битгий хэтрүүлээрэй

SWYX [00:35:23]: өөрийнхөө амьдрал.

ЖОНАТАН [00:35:23]: Хэрэв танд шаардлагагүй бол илүү олон хэрэгсэл эсвэл илүү гоёмсог архитектурын өөрчлөлт оруулах гэж бүү оролдоорой.

SWYX [00:35:29]: Хамгийн багадаа хүрэх шиг

ЖОНАТАН [00:35:30]: Ажлаа дуусгахад зайлшгүй шаардлагатай. Мөн бүх зүйлийг ашиглахыг хичээх нь үнэхээр сэтгэл татам юм. Тиймээс би үүнийг бүрэн ойлгож байна.

SWYX [00:35:37]: Миний хэлэх хамгийн сүүлчийн хэсэг бол үүнийг хийх боломжийг олж харсан учраас л би үүнийг нэхэх болно гэж бодож байна. Архитектурын өөрчлөлтөөс болж өсөх шаардлагатай дэд бүтцийн өөрчлөлтүүд бий юу? Тиймээс би жишээ нь,

SWYX [00:35:57]: Та нягт загвар, 70B нягт загварыг зарлаж байна, харин Жон дөнгөж сая DBRX болон зураг-текст загвар дээр ажиллаж байсан бөгөөд энэ нь өөр өөр саад бэрхшээлтэй байж магадгүй юм.

ЖОНАТАН [00:36:10]: Энэ нь бидний хувьд зөв. Бид мэргэжлийн загваруудын нягт, холимогийг хоёуланг нь сургадаг гэдгийг та мэднэ. Нээлттэй эх сурвалжийг нээх зөвшөөрөл авсан нь шинжээчийн загварын холимог байсан. Мөн эдгээр загварууд нь сүлжээний зурвасын өргөний талаар маш их шаарддаг, ядаж та тэдгээрийг FSTP 03 хэв маягаар сургаж байгаа бол маш олон параметрүүд нааш цааш холилдож байдаг.Мөн та одоо бүх параметрийн оронд жетон бүрийн параметрийн багахан хэсгийг л ашиглаж байгаа учраас нааш цааш холих ёстой өгөгдлийн хэмжээ болон таны тооцооллын харьцаа улам дордож байна. . Тиймээс бид бүх зүйлийг цаг тухайд нь зөв газарт нь хүргэхийн тулд дугтуйг үнэхээр түлхэх хэрэгтэй болсон. Тиймээс үнэндээ DBRX-ийн сүлжээний хэсэг нь бүх үйл явцын хамгийн хэцүү зүйл байсан гэж би бодож байна. Зүгээр л MOE сургалтанд хамрагдаж, том кластерт масштабаар ажиллана.Бид бүгдийг түүхий эдийн эдээр хийж чадсан хэвээр байгаа нь маш сэтгэл хөдөлгөм байсан гэж би бодож байна. Бид FSTP-г ашиглаж байсан бөгөөд эцэст нь HSTP-ийг ашигласан бөгөөд ингэснээр та HSTP-ийг FSTP-ийн хувилбар болгон ашиглах боломжтой бөгөөд та олон жижиг хуулбартай бөгөөд та эдгээр хуулбаруудын дотор өгөгдөл параллель хийж байна. Энэ нь үйл явцын хэсэг бүрт маш их өгөгдөл дамжуулж байсан учраас л бидний тулгарч байсан сүлжээний хоцрогдолтой холбоотой асуудлуудад маш их тусалсан.Энэ нь үнэндээ Google-ийн техник хангамж, программ хангамжийг хэрхэн хамтад нь зохион бүтээдэг нь сургамжтай байсан гэж би бодож байна. Миний ойлгож байгаагаар тэдний сургалт нь 03 төрлийн сургалтанд хамрагдаж, хэсэг хугацаанд хамрагдсан. Тэд мөн мэргэжлийн загваруудын холимогийг сургадаг. TPU-ууд нь тооцоолох харьцаа нь маш өөр сүлжээний зурвасын өргөнтэй байдаг. Тэд зөвхөн объектив байдлаар илүү их зурвасын өргөнтэй байдаг. Мөн нэг чип дэх TPU нь тооцоолох эрчимжилт багатай, санах ой багатай байдаг.Энэ бол зүгээр л өөр дизайны сонголт гэдгийг та мэднэ. Тиймээс флоп ба зурвасын өргөний харьцаа маш өөр байна. Энэ нь Google-д татах нь хамаагүй хялбар гэсэн үг юм

SWYX [00:37:54]: Энэ зүйлсийн зарим нь.

ЖОНАТАН [00:37:54]: Тэдэнд бас сонирхолтой, Торус загварын сүлжээний архитектур эсвэл Торусын хэв маяг, шууд утгаараа сүлжээний архитектур байдаг.

SWYX [00:38:00]: загвар өмсөгч шиг биш,

ЖОНАТАН [00:38:00]: гэхдээ сүлжээ.

SWYX [00:38:02]: Энэ нь блок анхаарал мөн үү? Би чиний юу гэж нэрлэснийг мартчихаж. Тэгэхээр энэ нь зүгээр л илүү юм уу,

ЖОНАТАН [00:38:07]: Тийм ээ, энэ нь илүү их, бөгжний анхаарал биш, гэхдээ эдгээр нь бүгд багасдаг цагираг юм. Миний ойлгож байгаагаар эдгээр гурван хэмжээст Торус руу таныг оруулдаг учраас та гурван өөр хэмжээтэй цагирагтай юм шиг. Google-ийн дэд бүтэц нь ямар нэгэн байдлаар бүтээгдсэн гэж би хэлэхгүй, гэхдээ Google-ийн галт тэрэгний загварууд нь тэдэнд байгаа дэд бүтцийн хувьд арай өөр байхаар бүтээгдсэн байж магадгүй юм. Мөн энэ талаар бодох нь маш цэвэрхэн юм.Миний бодлоор NVIDIA-г зарласан нэг зүйл бол GH200 болон GB200 аль алиных нь хувьд NVLink сүлжээний чипүүдтэй байх эрлийз сүлжээ юм. GB200-ийн хувьд энэ нь 72 GPU-ийн бүлгүүд бүгд хоорондоо NVLink-тэй байх болно гэж би бодож байна. Тиймээс илүү өндөр зурвасын өргөнтэй бол та InfiniBand эсвэл Rocky эсвэл эдгээр блокуудын хооронд ямар нэгэн төрлийн хэвийн сүлжээтэй байх болно.Энэ нь маш том бүлгүүд дээр үнэхээр өндөр зурвасын өргөн сүлжээг бий болгоход хэцүү байдаг, гэхдээ одоо энэ нь хаагдсан сүлжээ болсонтой холбоотой өөрчлөлт юм. Мөн та өөрийн загвар болон параллелизмыг өөрөөр хэрхэн зохион бүтээх талаар бодох хэрэгтэй. Өмнө нь байгаагүй бол одоо GPU-г хаана алдах нь чухал тул та алдааг тэсвэрлэх талаар өөрөөр бодох хэрэгтэй.Тиймээс, энэ бол үнэхээр сонирхолтой бөгөөд биечлэн ярих нь үнэхээр хөгжилтэй, гэхдээ бид бүгдээрээ тэр үе рүү шилжиж, эдгээр асуудлын шинэ хувилбаруудын талаар бодох хэрэгтэй бол энэ нь шинэ хар дарсан зүүд гэсэн үг юм.

ЖОШ [00:39:20]: Том жинлүүр хүртэл явахад энэ нь огт өөр болдог. Яг одоогийнх шиг, хэрэв танд тохиолдож байгаа бол жишээлбэл, та өдөр бүр GPU-ийн доголдолтой тулгардаг гэж бодъё, энэ нь зүгээр юм.

SWYX [00:39:31]: Зүгээр л дахин эхлүүл.

ЖОШ [00:39:31]: Хэрэв та өөрийнхөө юмыг 24 дахин том болговол одоо цагт нэг удаа болдог. Одоо дахин эхлүүлэх нь тийм ч хялбар байхаа больсон, тийм ээ? Тэгэхээр одоо та урьд өмнө байгаагүй ийм төрлийн илүүдэлтэй жигнэх гэх мэт завсарлага авах хэрэгтэй. Тиймээс та цар хүрээгээ ахих тусам бодит дизайнтай төстэй маш олон сонирхолтой асуудалтай тулгардаг гэж би бодож байна. Тийм ээ, би найрал хөгжмийн залуугийн хувьд,

SWYX [00:39:52]: Тийм учраас би маш хямд хадгалах юм уу маш хурдан хадгалах гэх мэтийг үргэлж онцолдог. Тиймээс та илүү их шалган нэвтрүүлэх цэг тавьж болно, гэхдээ энэ нь хурдан бэлтгэл хийх хамгийн сайн шийдэл биш байх гэж бодож байна.

ЖОНАТАН [00:40:05]: Хэл хийж байхдаа сайн ажилладаг, дараа нь алсын хараа эсвэл видео руу шилждэг. Дараа нь та олон тооны петабайт өгөгдлийн багцтай болно

SWYX [00:40:12]: тэгээд авах, чи мэднэ,

ЖОНАТАН [00:40:13]: хямд, хурдан олон петабайт хадгалах газар хазаж эхэлдэг. Миний GPU-ууд байсан шууд дата төвд хүмүүсийн аль ч хэрэглэгчээс тухайн мэдээллийн төвд авчрахыг хүссэн мэдээллийн багцад тохирох объектын дэлгүүр хүрэлцэхгүй байсан асуудал надад тулгарсан шиг. Тэгээд та тэдгээрийг оруулах гэж оролдсон.

SWYX [00:40:31]: Гэмтлийн өөр ертөнц

ЖОНАТАН [00:40:31]: бүс нутаг дөнгөж хадгалагдаагүй байгаа тул та мэдээллээ өөр бүс нутагт хадгалах ёстой. Тиймээс бүх зүйл маш хурдан хөгжилтэй болдог.

SWYX [00:40:39]: Алсын харааны тухай яривал Жош, үнэндээ та Эмбү бол агент компани гэдгийг мэдэж байгаа, гэхдээ та зөвхөн текстэд зориулагдсан загварыг зарлаж байна. Юу, хаана, харааны тал хаана орж ирдэг вэ?

ЖОШ [00:40:49]: Бид өнгөрсөн хугацаанд маш их ажил хийсэн гэж бодож байна, хүмүүс өнгөрсөн хугацаанд өөрийгөө удирдан чиглүүлсэн сургалт болон алсын хараатай холбоотой бусад зүйлийн талаар манай блог нийтлэлүүдийг харж болно. Мөн. Тиймээс бид энэ зүйлийг маш сайн мэддэг. Гэхдээ яг одоо бидний гол анхаарал хандуулж байгаа зүйл бол кодчилол, үндэслэл юм. Мөн зарим асуудалд харааны бүрэлдэхүүн хэсэг байгаа нь гарцаагүй. Гэхдээ энэ нь бүх асуудалд заавал байх албагүй гэдгийг та мэднэ.Үнэндээ бид код бичих, сэтгэн бодох асуудал гэх мэт ихэнх төрлийн хувьд харааны хэсэг нь тийм ч чухал хэсэг биш гэдгийг олж мэдсэн. Заримдаа танд үнэхээр хэрэгтэй бол дүрсэлж болно

SWYX [00:41:24]: зүйл.

ЖОШ [00:41:24]: Та эдгээр хэсгүүдийг залгахын тулд тавиур дээрээс ашиглаж болох өөр олон төрлийн загварууд байдаг.

SWYX [00:41:30]: чамд хэрэгтэй байна, тийм үү?

ЖОШ [00:41:30]: Хэрэв ямар нэг зүйл хөтчийг жолоодож байгаа юм шиг, заримдаа та үүнийг анхны загварт оруулах шаардлагагүйгээр зугтаж чаддаг шиг. Тэгэхээр манай ард түмэн нэг ёсондоо бид стекийн дундуур маш их зүйлийг хийдэг байсан. Бид өөрсдийн дэд бүтэц, урьдчилсан сургалт, RL, нарийн тааруулах, бүтээгдэхүүн гэх мэт бүх зүйл дээр ажиллаж байна. Гэхдээ өөр утгаараа бид хэрэглээний тал дээр маш нарийн төвлөрч байна. Тиймээс стекийн бүх зүйл маш тодорхой зорилгод чиглэж байна.Тиймээс яг одоо энэ зорилгод алсын хараа хэрэггүй. Тиймээс хүмүүс бүх төрлийн үнэхээр гайхалтай зургийн загваруудыг хийх болно гэж бид бодож байна.

SWYX [00:42:00]: Жонатан шиг, тийм үү?

ЖОШ [00:42:00]: Ирээдүйд бүх төрлийн сонирхолтой мультимодал загварууд. Бид тэднийг үүнийг хийх болно. Гайхалтай. Бид үүний давуу талыг ашиглан ирээдүйд тэдгээр хүмүүстэй хамтран ажиллах болно. Яг одоо бид загварын үндсэн үндэслэл, кодлох чадвар, тал дээр үнэхээр анхаарч байна.

SWYX [00:42:14]: Энэ бол стекийн дараагийн давхарга учраас би нүүрс ус руу орохыг хүссэн. Бид Канжинтай эхний ангид нүүрс усны талаар ярилцсан, учир нь та энэ тухай хэдэн жилийн өмнөх шиг блог нийтлэлтэй байсан. Магадгүй үүнийг танилцуулъя.

ЖОНАТАН [00:42:26]: Одоо хэдэн жил болсон уу?

ЖОШ [00:42:28]: Үгүй ээ, дор хаяж нэг жил болсон байх. Олон жил биш гэж найдаж байна.

SWYX [00:42:32]: Уучлаарай, би хиймэл оюун ухааны цагийг тоолж байна. Тиймээ тиймээ. Тийм ээ, би хэлэх гэж байсан

ЖОНАТАН [00:42:35]: чи яг одоо намайг үнэхээр хөгширч байна.

SWYX [00:42:39]: Би ерөнхийдөө ухаалаг нэрээ өөрчлөхөөс өмнөх бүх зүйлийг түүхийн өмнөх үеийнх шиг тооцдог. Тиймээ. Тэгээд одоо орчин үеийн байдал, тийм ээ? Тиймээс би нүүрс ус нь гиперпараметрийн оновчлолын талаар ижил төрлийн параметрүүд, гиперпараметрийн хайлт гэсэн утгаараа илүү чухал гэж бодсон. Харин та үүнийг, ялангуяа энэ блог нийтлэлдээ танилцуулахдаа хуулиудыг өргөжүүлэх, урьдчилан таамаглах талаар илүү их ярьдаг. Бид аливаа зүйлийг өргөжүүлэхээсээ өмнө зөв бөмбөгний талбайд байгаа юу? Магадгүй нүүрс усны түүхийг эргэн дурсах байх.

ЖОШ [00:43:10]: Тийм ээ, тиймээс энэ нь үнэхээр хоёулангийнх нь бага зэрэг юм. Тэгэхээр нүүрс ус гэдэг нь арын нэр байж магадгүй, гэхдээ энэ нь зардал багатай Парето мужийн Байесийн хайлт юм. Тэгэхээр энэ нь техникийн хувьд хэрхэн ажилладаг тухай юм, гэхдээ нүүрс ус нь нарийн боов болон бусад зүйлд дуртай.

SWYX [00:43:26]: Тийм мундаг, яагаад болохгүй гэж? Гэхдээ гол нь энэ

ЖОШ [00:43:29]: Энэ бол зардлыг мэддэг гиперпараметр тааруулагч юм. Тиймээс ихэнх гиперпараметр тааруулагчид "За, энэ объектив функц энд байна" гэж хэлдэг. Би чамайг аль болох том эсвэл аль болох бага, аль болох том болгохыг хүсч байна. Тийм ээ, зүгээр л явж энэ дугаарыг аль болох бага болго. За, тэгэхээр энэ нь хэд хэдэн өөр дугаарыг туршиж үзэх болно.

SWYX [00:43:46]: гиперпараметрүүд,

ЖОШ [00:43:46]: олон янзын тохиргоо

SWYX [00:43:48]: ойлгохын тулд,

ЖОШ [00:43:48]: Би таны сүлжээ, архитектурыг хэрхэн өөрчлөх вэ гэх мэт. Энэ нь ихэвчлэн эдгээр гиперпараметрийн бараг бүх тохиргоо нь ижил тооны GPU эсвэл ижил тооны зангилаа ашиглах болно гэж бодъё.

SWYX [00:44:01]: Тэгэхээр энэ нь ажиллах болно

ЖОШ [00:44:01]: ижил хугацаанд.

SWYX [00:44:03]: Тэгэхээр та үүнийг хийж чадна.

ЖОШ [00:44:03]: Та дугаар гаргаж болно, энэ бол гайхалтай. Гэхдээ нүүрс ус юу хийдэг вэ гэвэл,

SWYX [00:44:07]: За, үнэндээ,

ЖОШ [00:44:07]: Хэрэв бид энэ хязгаарлалтыг зөөлрүүлбэл яах вэ? Хэрэв бид эдгээр өөр өөр цэг бүрийг хэлвэл энэ тохиргооноос дээж авах нь ямар үнэтэй болохыг загварчлах болно. Хэрэв бид зөвхөн нэг зуун өгөгдлөөр бэлтгэл хийвэл яах вэ? Бид хэр сайн хийж чадах вэ?

SWYX [00:44:19]: Бид бэлтгэл хийвэл яах вэ

ЖОШ [00:44:19]: аравны нэгээр өгөгдөлтэй юу? Хэрэв бид бүх өгөгдөлтэй бэлтгэл хийвэл яах вэ? Ингэснээр бид улам олон тооцоолол хийх тусам илүү их мэдээлэл авах тусам та ойлгох болно.

SWYX [00:44:26]: Бид томрох тусам

ЖОШ [00:44:26]: том сүлжээ, өөрчлөгдөж буй эдгээр зүйлсийн гүйцэтгэл хэрхэн өөрчлөгддөг вэ? Энэ өгөгдлийн цэгийг судлах нь хичнээн үнэтэй вэ гэх мэт. Ингэснээр бид зөвхөн масштабын хуулиудыг харж болно.

SWYX [00:44:36]: масштабын хуулиуд

ЖОШ [00:44:36]: Шантилийн цаас шиг бүх параметрийн масштабын хуулиас. Үүнийг дагаад давхаргын тоо хэрхэн өөрчлөгдөж байгааг бид харж байна уу? Сургалтын түвшин хэрхэн өөрчлөгддөг вэ? Төрөл бүрийн зохицуулалт хэрхэн өөрчлөгддөг вэ? Тэгэхээр та эдгээр сайхан масштабын хуулиудыг харж болно. Мөн та зардлаа даван туулж байх үед энэ нь таны загварыг өргөжүүлэхийн хэрээр хэрхэн өөрчлөгдөх ёстой вэ?Тиймээс гүйцэтгэлийг хэмжих маш нарийн арга болох бидний сонгосон хэмжигдэхүүнтэй хослуулан үнэхээр сайн ажилласан параметрүүдэд үнэхээр дуртай байх боломжийг бидэнд олгосон.

SWYX [00:45:05]: мөн ойлгоорой,

ЖОШ [00:45:05]: Бид тэдгээрийг хэрхэн өргөжүүлэхийг хүсч байна, ялангуяа бид өөрчлөгдөж байгаа үед

SWYX [00:45:08]: сүлжээний талаар юу?

ЖОШ [00:45:08]: Бидний хийсэн нэг зүйл шиг бид захиалгат жетонжуулагч ашигласан. Бид энэ токенизаторыг өөрчлөхдөө загварын талаар өөр олон зүйлийг өөрчилдөг. Тэгэхээр бид энэ цоо шинэ токенизаторыг хэрхэн өргөжүүлэх ёстой вэ? Өмнө нь хэн ч энэ токенизатороор ийм том загвар гаргаж байгаагүй юм шиг. Тэгээд бид яаж үүнийг хүсч байна вэ?

SWYX [00:45:22]: Энэ бүгдийг өөрчлөх үү?

ЖОШ [00:45:22]: Ятга нь эдгээр параметрүүдийг өөрчлөхдөө бусад параметрүүд үүнээс хамааралтай болохыг харуулж байна.

SWYX [00:45:28]: Энэ бол эдгээр нь

ЖОШ [00:45:28]: тэдний хоорондын харилцаа. Тиймээс, хэрэв би үүнийг 10 дахин эсвэл 100 дахин нэмэгдүүлэх гэж байгаа бол, би хаана байхыг хүсч байна вэ? Би зөвхөн өдий хүртэл явж чадна. Тэгээд л бид 14б шиг юмуу ямар нэгэн зүйл байсан юм болов уу гэж бодож байна.

SWYX [00:45:40]: шалгахад дуртай.

ЖОШ [00:45:41]: Гэхдээ бид 1b эсвэл 14b шиг, дараа нь 70b-тэй байсан. Бидэнд ийм зүйл байгаагүй гэж би бодож байна, би зүгээр л 14b-д дуртай байсан гэж бодож байна. Тэгэхээр та чадна, бид үүнийг шалгах боломжтой, өө, энэ муруй дээр байна уу? Энэ нь бидний хүлээж байсан газар мөн үү? Яг тэнд байсан юм шиг. Тэгэхээр гайхалтай, дараагийнх руугаа яв. Тийм ээ, энэ нь маш их утга учиртай гэсэн үг юм.

SWYX [00:45:56]: Би гайхаж байна, тиймээс гол асуултуудын нэг нь миний буруу бол засч залруулна уу, гэхдээ хүмүүс ихэвчлэн алдагдалд тулгуурлан хайлт хийдэг шиг. Гэхдээ та үнэндээ HellaSwag, Lombata гэх мэт хүмүүсийн хүлээж болох эцсийн төлөвийн талаар үнэлдэг. Энд ямар хэм хэмжээ байдаг вэ? Норм байдаг уу?

ЖОШ [00:46:20]: Тийм ээ, зуун хувь байгаа эсэхийг мэдэхгүй.

SWYX [00:46:21]: Би мэдэхгүй. Би зөвхөн ихэнх хүмүүсийн тайлангаас л алдагдлыг олж хардаг.

ЖОШ [00:46:25]: Алдагдал нь маш нарийн учраас маш сайхан байдаг гэж би бодож байна. Энэ нь таны гиперпараметрүүд эсвэл сүлжээний архитектурт үнэхээр жижиг өөрчлөлтүүд гэх мэт маш нарийн ширхэгтэй ялгааг танд хэлэх болно. Харин, ялангуяа жижиг масштабууд дээр, хэрэв та нарийвчлалыг харж байгаа бол маш их чимээ шуугиантай байдаг. Энэ нь тэг эсвэл зуу эсвэл үүнтэй төстэй байж болох юм шиг 10, 20 хувийн хэлбэлзэлтэй байгаа нь үүнийг хэлэхэд үнэхээр хэцүү болгодог, жишээ нь, энэ нь үнэхээр ямар нэг утгатай байсан уу?Тэгэхээр бидний алдагдал энэ хоёрын нэгдэл юм. Зүгээр л нэг эргэлзээг харцгаая гэж хэлэхийн оронд олон сонголттой асуултуудад үр дүнтэй анхаарал хандуулдаг ажлуудын эргэлзээг харцгаая гэж хэлье.

SWYX [00:47:00]: Тэгэхээр бид тийм ээ,

ЖОШ [00:47:00]: Үүнийг олон сонголттой асуулт болгон томъёолсон бөгөөд бид энэ хариултын жетоны төөрөгдөл алдагдсаныг авч үзэх болно. Энэ нь таны үнэхээр санаа тавьдаг зүйлд чиглэсэн, бас маш нарийн зүйл болж хувирдаг. Үүний сайхан зүйл бол таны сургаж буй өгөгдлөөс хамааралгүй явдал юм.Төөрөгдөл эсвэл алдагдлын талаар ядаргаатай нэг зүйл бол өгөгдлийн багцаа өөрчлөх үед энэ нь үнэхээр жигшүүртэй, учир нь энэ нь таны алдагдлыг үндсээр нь өөрчилдөг, тийм ээ? Тиймээс та өгөгдлийн багцаа хэрхэн өөрчлөх талаар хэлж чадахгүй байна уу? Гэхдээ бид эргэлзэж байгаа үнэлгээний өгөгдлийн багцтай учраас бид өгөгдлийн хольцыг үнэхээр өөрчилж чадна.Тиймээс CARB нь өгөгдлийн хамгийн оновчтой хослол юу болохыг олж мэдэхийн тулд хэр их код, хэр их интернет текст гэх мэт бидний харахыг хүсч буй өгөгдлийн холимогийг хянадаг. Энэ нь бидэнд өөр хэмжүүр байгаа учраас үүнийг хийж чадна. Тиймээс энэ нь үнэхээр, үнэхээр тустай зүйлсийн нэг байсан.

SWYX [00:47:46]: Сургалт үргэлжлэх тусам өгөгдлийн хольцыг өөрчлөх хандлага ажиглагдаж байна гэж би бодож байна. Бид энэ подкаст дээр өгөгдлийн багцын талаар ярихгүй байхаар шийдсэнийг би мэдэхгүй, гэхдээ та өгөгдлийн хольцын өөрчлөлтийн талаар юу ажигласан бэ?

ЖОШ [00:48:06]: Бид хэд хэдэн туршилт хийсэн

SWYX [00:48:08]: Тэгээд бид үнэхээр ярилцсан

ЖОШ [00:48:08]: Энд бас ажил хийж байгаа олон судлаачдад

SWYX [00:48:11]: мөн янз бүрийн зүйлийг харж байна

ЖОШ [00:48:12]: үүн дээр хийсэн туршилтууд. Энэ нь ажиллаж, утга учиртай байх ёстой зүйл мэт сонсогдож байгаа тул бид анхандаа маш их найдаж байсан, тийм ээ? Өө, дажгүй гэх мэт. Магадгүй та үндсэн шинж чанаруудыг сурах гэх мэт загвараа авах байсан байх

SWYX [00:48:22]: тэгээд цаг хугацаа өнгөрөхөд

ЖОШ [00:48:22]: Энэ нь математикийн эдгээр төвөгтэй асуудлууд эсвэл кодчилол эсвэл ямар нэгэн зүйлд үнэхээр сайн болж магадгүй юм, тийм үү? Гэхдээ энэ нь зүгээр л тийм биш юм шиг харагдаж байна. Бид маш олон туршилт хийсэн бөгөөд та үүнээс өчүүхэн, өчүүхэн төдий түлхэц авч болох ч энэ нь тийм биш, энэ нь зүгээр л чухал зүйл биш, ядаж бидний үзсэн туршилтууд юм. Тийм ээ, бид бусад хүмүүст зөвшөөрч байна.

SWYX [00:48:40]: Үүнийг илүү сайн судлаарай

ЖОШ [00:48:40]: Хэрэв тэд хүсвэл, гэхдээ энэ нь бидний хувьд хамгийн ирээдүйтэй чиглэл биш юм шиг санагдаж байна.

ЖОНАТАН [00:48:44]: Бидэнд гайхалтай аз тохиосон. Бид дөнгөж сая энэ тухай нийтлэл гаргалаа. Нарийвчилсан мэдээлэл маш чухал бөгөөд та загвар өмсөгчтэй юу хийхийг оролдож байгаа нь үнэхээр чухал юм.

SWYX [00:48:53]: Тиймээ.

ЖОНАТАН [00:48:53]: Гэхдээ энэ нь тохиргооноос хамааран бидний хувьд нэлээд үр дүнтэй байсан. Мэдээжийн хэрэг, бид домэйны онцлогт тохирсон загваруудын талаар бодож байгаа бол энэ нь маш их тусалдаг. Та үүнийг эрт үеийн нарийн тохируулга гэж үргэлж бодож болно. Гэхдээ тийм ээ, би олон жилийн турш уран зохиолд энэ талаар бага зэрэг ажиглагдсан. Ялангуяа Ихрийн ордны 1.5 баримт бичигт энэ тухай дурдсан байх гэж бодож байна. Лама 3 баримт бичигт энэ тухай дурдсан эсэхийг би санахгүй байна.

SWYX [00:49:15]: гэхдээ энэ нь нэг төрлийн,

ЖОНАТАН [00:49:16]: Энэ бол хүмүүс эдгээр төгсгөлийн цэгүүдэд хүрэх янз бүрийн арга замтай байдаг шиг эдгээрийн нэг юм.

SWYX [00:49:20]: Миний бодлоор, чи мэднэ,

ЖОНАТАН [00:49:20]: Лаборатори бүр алдагдлын өсөлтийг багасгах архитектурын заль мэх эсвэл танд юу байдаг. Мөн хүн бүр өөрийн гэсэн заль мэхтэй байдаг бөгөөд энэ нь заримдаа ийм зөрчилтэй мэдээлэлд хүргэдэг. Энэ нь зөрчилддөггүй. Хүмүүс зүгээр л нэг төрлийн хайгуул хийдэг

SWYX [00:49:33]: орон зайн өөр өөр хэсгүүд

ЖОНАТАН [00:49:33]: ямар нэг утгаараа. Мөн гайхалтай загвар авах олон арга бий. Гэхдээ мэдээж бидний хувьд манай тохиргоонд байгаа бөгөөд Google-ийн хүмүүсийн хувьд тэдний амьдарч буй дэлхийн аль нэг хэсэгт өгөгдлийн багцыг өөрчилсөн нь тусалсан гэж бодож байна, гэхдээ нарийн ширийн зүйл нь маш их ач холбогдолтой юм. Жошийн шалтгааны улмаас эдгээр нарийн ширийн зүйлийг зөв ойлгоход үнэхээр хэцүү байна.

SWYX [00:49:48]: Та мэдэж байгаа, сая дурдсан.

ЖОНАТАН [00:49:48]: Маш их хайлт хийж байгаа тул та үндсэндээ хэцүү сонголт хийх хэрэгтэй.

SWYX [00:49:52]: орон зайн ямар хэсгүүд

ЖОНАТАН [00:49:52]: Та хайх гэж байгаа бөгөөд алийг нь орхих гэж байна. Тиймээс зарим хүмүүс гайхалтай ажил хийсэн гэдгийг та мэднэ. Миний бодлоор энэ хэн бэ? Deep Seek-ийнхэн багцын хэмжээтэй халаалт шиг гайхалтай ажил хийсэн. Энэ нь тэдний хувьд үнэхээр, үнэхээр үр дүнтэй байсан. Бусад хүмүүс өгөгдөл холих гэх мэт зүйлсийг маш их анхааралтай ажиглаж байгааг та мэднэ, гэхдээ бүх зүйлийг харахад хэцүү байдаг.

ЖОШ [00:50:09]: Тийм ээ, бид өгөгдлийн багцаас ашиг олох боломжтой зарим зүйлийг олж мэдсэн гэж бодож байна. Гэхдээ нүүрс усны нэг дуртай зүйл бол бид нүүрс усыг зөв тааруулахын тулд түрхэх үед ийм төрлийн олон зүйл ууршдаг. Харин бид эдгээр бусад параметрүүдийг тааруулах юм бол үнэндээ энэ илүү төвөгтэй зүйлийг хийх шаардлагагүйгээр бараг ижил ашиг олж чадна. Тиймээс ядаж тодорхой хэмжүүрүүд шиг туршилт, тохиргоонд байгаа.

SWYX [00:50:34]: бидний санаа тавьдаг зүйл,

ЖОШ [00:50:34]: Бид ийм төрлийн хайруулын тавган дээр гарч, томрохыг огт хараагүй. Гэхдээ үүнийг үгүйсгэхгүй. Би чиний зөв гэж бодож байна, Жонатан,

SWYX [00:50:41]: байгаа байх

ЖОШ [00:50:41]: яг ямар хэмжигдэхүүнтэй, яг ямар өгөгдлийн багцтай, яг ямар хуваарь ашиглаж байгаа гэх мэт олон нарийн ширийн зүйлс. Мөн би үүнийг ажиллахыг үгүйсгэхгүй нь лавтай.

SWYX [00:50:52]: Гарч ирэх тухай хурдан асуулт. Гарч ирэх нь нүүрс усны онол руу түлхүүр шиддэггүй гэж үү? Аа, тэгэхээр цаас байна

ЖОШ [00:51:01]: Энэ нь надад маш их таалагдсан бөгөөд мэдээлэл өгсөн гэж бодож байна

SWYX [00:51:05]: яаж

ЖОШ [00:51:05]: Хэлний загваруудын гэнэтийн шинж чанар болох энэ талаар бид бодсон уу? Хэрэв та тэр цаасыг харвал энэ нь үнэндээ таны харж байгаа энэ гэнэтийн зан үйл нь үнэхээр гэнэтийн зан үйл биш, харин бидний ашиглаж буй үнэлгээний хэмжүүрүүдийн үүрэг юм. Тиймээс хэрэв та нарийвчлалыг хэмжүүр гэж үзвэл сургалтын явцад нарийвчлал байнга нэмэгдэж байгаа боловч бүртгэлийн хэмжээнд байгаа нь юу болж байна гэж би бодож байна.Тиймээс 0.001%, 0.1, 0.1, 10-аас эхэлнэ.

SWYX [00:51:35]: Зөвхөн явж байхдаа л

ЖОШ [00:51:35]: 10-90 цагийн хооронд ийм зүйл болж байгааг харж байна уу? Нэгээс нь ороход чи мэднэ,

SWYX [00:51:40]: мянга зөв болж байна

ЖОШ [00:51:40]: Энд олон хэмжээний дараалал болж байгаа юм шиг мянгад нэг нь алдаа гаргадаг.

SWYX [00:51:44]: Тэгэхээр та хайж байхдаа

ЖОШ [00:51:44]: Энэ талаар эргэлзэж байвал та зүгээр л энэ сайхан шулуун шугамыг харж байна. Тэгээд яг ийм л нүүрс ус ашиглаж байна. Бидний хэмжүүр ийм төрлийн эргэлзсэн бүртгэлийн орон зайд байгаа тул таны харж байгаа шиг, өө, энэ сайхан, маш урьдчилан таамаглах боломжтой байдлаар томрох тусам сайжирч байгаатай адил юм. Тэгэхээр энэ нь, мөн бид яг үүнийг харсан. Эдгээр зүйлс үнэхээр, үнэхээр муу байсан шиг, та олон сонголтын хариултыг урьдчилан таамаглаж байгаа тул үргэлж А.За, энэ нь үнэхээр аймшигтай, гэхдээ энэ талаар өөртөө итгэлгүй байж сурах шиг болсон.

SWYX [00:52:09]: Тиймээ. Саяхан нэг нийтлэлээс харсан нэг заль мэх бол зүгээр л олон сонголттой асуултуудын дарааллыг санамсаргүй байдлаар тодорхойлох явдал байв. Хэрэв та, хэрэв тэд, хэрэв тэд, хэрэв тэд, хэрэв тэд дууссан бол, хэрэв энэ нь гүйцэтгэлд маш их нөлөөлсөн бол тэд үндсэндээ туршилтын багцыг цээжилж байгаа нь маш их утга учиртай юм.

ЖОНАТАН [00:52:28]: Тийм ээ, энэ бол би Жошийн хэлсэнтэй бүрэн санал нийлж байна.

SWYX [00:52:32]: Миний бодлоор, чи мэднэ,

ЖОНАТАН [00:52:32]: Миний хамгийн том сургамж бол юу ч таны хүссэнээр харагдаж болно. Хэрэв та үүнийг тодорхой хэмжээгээр дүнзэн масштабаар хийж, бүртгэвэл бид янз бүрийн шалтгааны улмаас дүнзэн жинлүүр, гүнзгий суралцах дуртай. Бүртгэлийн масштабаар бүх зүйл маш тэгш харагдах хүртэл дүнзэн масштаб дээр бүх зүйл маш цэвэрхэн харагдаж байна. Аан, би мэдэхгүй. Би дүнзний жин намайг үргэлж холих дуртай. Энэ бол миний хэлж чадах зүйл.

SWYX [00:52:51]: Агуу их. Би хамгийн сүүлд байсан зүйлээ нүүрс ус дээр дурдах гэж байсан гэж бодож байна. Өө, яахав, би зүгээр л эвал руу орцгооё, учир нь энэ нь олны дуртай зүйл байх болно гэж бодож байна. Аан, нүүрс ус, бид аль хэдийн дурьдсан, аан, чи мэднэ дээ, бид LLM-ийг ихэвчлэн үнэлдэг эцсийн үр дагаварт ихээхэн тулгуурладаг. Та өөрөө хийх ёстойг эс тооцвол. Аан, тэнд байгаа олон нийтлэг нүүлгэн шилжүүлэлттэй холбоотой баримтжуулсан олон асуудал байгаа бөгөөд та бүгдийг нь зассан.Мэдэхгүй юм шиг санагдаж байна

ЖОШ [00:53:18]: бүгдийг нь зассан тухай, гэхдээ бид дэд бүтэц, техник хангамжийг ухаж, яг юу болж байгааг ойлгох дуртай гэж бодож байна.

SWYX [00:53:27]: буруу юу?

ЖОШ [00:53:27]: Энэ GPU-д ямар алдаа гарсан бэ?

SWYX [00:53:31]: Тэгээд яагаад ийм зүйл болсон юм бэ?

ЖОШ [00:53:31]: Тэгээд бид үүнийг яаж засах вэ? Бид үнэлгээнд ижил хандлагыг баримталдаг. Тиймээс бид үнэлгээг харж, өгөгдлийн багцыг харахад бидний хийсэн зүйл бол юу болохыг та мэднэ.

SWYX [00:53:39]: За, хэрэв бид явах юм бол

ЖОШ [00:53:39]: Байгалийн хэл, ойлголт, үндэслэлийг үнэлэх, тухайлбал, тэнд байгаа бүх өгөгдлийн багцыг харцгаая. Энэ нь бидний үнэлгээнд ашиглах ёстой сайн мэдээллийн багц мөн үү? Бид өөрт байгаа үнэлгээний өгөгдлийн багцыг ийм байдлаар сонгосон. Өө, дараа нь бид тэнд байгаа бодит жишээнүүдийг харахад эдгээрийн ихэнх нь маш замбараагүй байгааг анзаарсан. Тэдний заримынх шиг.

SWYX [00:54:00]: лайк хүртэл

ЖОШ [00:54:00]: уялдаа холбоогүй байдал болон бидний сонгоогүй зарим нь. Өө, гэхдээ бидний сонгосон хүмүүс ч гэсэн хүмүүс маш их хичээсэн шиг

SWYX [00:54:06]: эдгээр өгөгдлийн багц.

ЖОШ [00:54:06]: Тэд үүнийг цэвэрлэх гэж оролдсон боловч тэнд маш олон өгөгдлийн цэгүүд байгаа бөгөөд үүнийг хийхэд хялбар байдаг.

SWYX [00:54:10]: алдаа гаргах.

ЖОШ [00:54:10]: Зөв. Тэгээд ч тэд ийм зүйлтэй биш гэдгийг та мэднэ

SWYX [00:54:13]: зуун хүн хайж байна

ЖОШ [00:54:13]: Асуулт болгонд яг л тийм байдаг

SWYX [00:54:15]: үнэтэй.

ЖОШ [00:54:15]: Тэгэхээр танд утгагүй асуултууд гарч ирнэ.

SWYX [00:54:18]: Хэн нэгэн үнэхээр тэгээгүй

ЖОШ [00:54:18]: энийг хар даа. Хэн нэгэн хариулт авахын тулд буруу хайрцаг дээр дарсан байна. Өө, эсвэл асуулт таны толгойд утга учиртай байдаг. Таныг үүнийг бичихэд бид үүнийг олонтаа харсан, энэ нь хорон санаатай ч юм шиг биш юм.

SWYX [00:54:26]: чадваргүй байдал.

ЖОШ [00:54:26]: Энэ үнэхээр яг л чи үүнийг бичдэг шиг байна.

SWYX [00:54:28]: чи бэлэн байна.

ЖОШ [00:54:28]: Чи ийм байна

SWYX [00:54:29]: надад утга учиртай.

ЖОШ [00:54:29]: Та үүнийг өөр хүнд үзүүлээрэй

SWYX [00:54:31]: мэдрэмж.

ЖОШ [00:54:31]: Та үүнийг гуравны нэгд үзүүлээрэй

SWYX [00:54:32]: хүн.

ЖОШ [00:54:32]: Тэд ийм байна, энэ нь огт утгагүй юм.

SWYX [00:54:34]: Чи тийм болохоор тэр

ЖОШ [00:54:34]: өөр утгыг ашиглаж байна

SWYX [00:54:36]: үг.

ЖОШ [00:54:36]: Тэгээд тэд ингэж хэлэхэд чи "Өө,

SWYX [00:54:38]: Хөөх, чиний зөв.

ЖОШ [00:54:38]: Энэ үнэхээр будлиантай байна. Юм хийхэд амархан

SWYX [00:54:41]: утга учиртай

ЖОШ [00:54:41]: бидний толгой. Тиймээс бидний үнэлгээний төлөө хийсэн зүйл бол эдгээр өгөгдлийн багц бүрийн нарийн ширийн зүйлийг үнэхээр ухаж, юу сайн болохыг асуухыг оролдсон.

SWYX [00:54:50]: асуулт?

ЖОШ [00:54:50]: Юу сайн хариулт өгдөг вэ?

SWYX [00:54:52]: Энэ нь юу гэсэн үг вэ

ЖОШ [00:54:52]: хоёрдмол утгатай байхын тулд? Бидэнд бүхэл бүтэн байсан, жишээ нь,

SWYX [00:54:55]: Бид маш олон зүйлийг харлаа

ЖОШ [00:54:55]: өгөгдөл, үүнийг задалж, олон хүнээс асуусан

SWYX [00:54:58]: энэ бүхний тухай

ЖОШ [00:54:58]: Үүний загварыг бий болгож, эдгээр өгөгдлийн багцыг цэвэрлэхэд туслах өөр өөр асуултууд. Энэ бол нэг том хэсэг байсан. Хоёрдахь том хэсэг нь бидний сургаж буй өгөгдөл нь бидний туршиж байгаа өгөгдөл биш гэдгийг батлах явдал байв. Тиймээс бид нэг алхам ухарч, "За, за, зүгээр л 500-аас мянган жишээг хуулбарлая" гэх мэтээр эдгээр өгөгдлийн багц бүрт өөрсдөө хуулбарлаж үзье. Мөн энэ өгөгдөл сургалтын багцад байхгүй эсэхийг шалгаарай.Тиймээс бид үүнийг хийсэн. Дараа нь бид загварынхаа гүйцэтгэл, бусад нээлттэй эх сурвалж болон бусад хаалттай эх сурвалжийн загваруудын гүйцэтгэлд итгэлтэй байх боломжтой болсон. Тийм ээ, тэнд маш их зүйл бий.

SWYX [00:55:33]: Танд 11 байсан уу? Хэдэн өгөгдлийн багц байсныг би мэдэхгүй. Би тэгж бодож байна. Нэг, хоёр? Тиймээ. Та илүү гүнзгий шумбахыг онцгойлон дуудахыг хүссэн хүн байна уу? Эдгээрийн зарим нь HelloSwag, MitoGrand шиг маш алдартай. Зарим нь уралдаан шиг бага алдартай. Уралдаан бол... Уралдаан бол гайхалтай мэдээллийн багц мөн эсэхийг би мэдэхгүй.

ЖОШ [00:55:50]: Үүнийг харж байна уу?

SWYX [00:55:51]: Тиймээ. Тиймээ. Зүгээр л, та тодорхой өгөгдлийн багц дээр хүссэн сонирхолтой зүйл байгаа гэж бодож байна уу?

ЖОШ [00:55:57]: тэнд хэдэн од байна. Та бүх цаасыг заавал уншаарай

SWYX [00:56:02]: Таны харж байгаагаар

ЖОШ [00:56:02]: GSM8K шиг эдгээрийн зарим нь жаахан хачин юм. Миний бодлоор нэг байсан

SWYX [00:56:06]: инээдтэй,

ЖОШ [00:56:06]: Энэ нь сүүлийн үеийн зарим загваруудын ёс зүйн хувьд бага гүйцэтгэлтэй байсан. Миний бодлоор энэ нь а

SWYX [00:56:11]: Жаахан инээдтэй

ЖОШ [00:56:11]: Учир нь загвар өмсөгчид, чи мэднэ.

SWYX [00:56:13]: Байсан гэж бодож байна

ЖОШ [00:56:13]: өө, үгүй гэх мэт хариу үйлдэл, чи мэднэ,

SWYX [00:56:16]: загвар өмсөгчид хэлж байна

ЖОШ [00:56:16]: муу зүйл.

SWYX [00:56:17]: Тэгээд тэд замаар явсан.

ЖОШ [00:56:17]: өөр чиглэлд. Одоо ёс зүйн мэдээллийн багц дээр,

SWYX [00:56:20]: Энэ нь үргэлж,

ЖОШ [00:56:20]: Хэдийгээр энэ нь үнэхээр зүгээр байсан ч энэ нь үнэхээр ёс зүйгүй юм. Тиймээс тэд зүгээр л PR-ын гамшиг үүсгэхгүй байгаа эсэхийг шалгаарай.

SWYX [00:56:28]: Би үүнийг тийм гэж бодсон

ЖОШ [00:56:28]: жаахан инээдтэй. Энэ нь заавал загварын алдаатай адил байх албагүй, гэхдээ зүгээр л улс төрийн эсвэл тааруулах үзэл бодолтой адил юм. Миний бодлоор гол зүйл бол би хэлэх гэсэн юм.

SWYX [00:56:38]: гол зүйл

ЖОШ [00:56:38]: Бодит гүйцэтгэл гэх мэт олон хүмүүсийн хувьд эдгээр хоёрдмол утгатай жишээнүүдийг зассаны дараа эдгээр шалгуур үзүүлэлтүүдийн ихэнх нь үнэхээр ханасан байдаг. Миний бодлоор энэ нь

SWYX [00:56:48]: харах нь чухал,

ЖОШ [00:56:48]: чи мэднэ дээ,

SWYX [00:56:50]: Чамайг байгаа үеийнх шигээ

ЖОШ [00:56:50]: ANLI дээрх гүйцэтгэл, уралдаан, усан сангийн дараалал гэх мэт зүйлийн талаар ярих юм бол таны яриад байгаа зүйл бол утгагүй асуултуудын гүйцэтгэл юм. Яг л энэ нь үнэхээр хачирхалтай хувилбар шиг хариултыг таасан уу? Эдгээр нь үлдсэн хүмүүс юм шиг.

SWYX [00:57:03]: Та харахдаа

ЖОШ [00:57:03]: Хүн бүрт утга учиртай тоглолтын үеэр бүх загвар өмсөгчид санал нэг байна.

SWYX [00:57:07]: Бид санал нэг байна.

ЖОШ [00:57:07]: бүгд нэг хуудсан дээр байгаа нь үнэхээр сонирхолтой үр дүн гэж би бодож байна.

SWYX [00:57:11]: Дараа нь асуулт гарч ирнэ, чи мэдэж байгаа, дараагийн хил хязгаартай адил шинэ, ямар төрлийн эвалууд байна вэ, энэ нь таны үндэслэл гэж юу болох талаар таны санааг өөртөө шингээдэг, учир нь энэ нь мэдээжийн хэрэг. Та сэтгэхүйг маш их сонирхож байна. Тийм ээ, энэ нь хаашаа явж байгаа юм бэ?

ЖОШ [00:57:30]: Энэ ажил болон энэ блог нийтлэл нь ихэвчлэн олон нийтийн үнэлгээний тухай ярьж байна

SWYX [00:57:34]: мөн зүйлс

ЖОШ [00:57:34]: бид гаргаж чадна. Бид өөрсдийн дотоод үнэлгээтэй. Жишээлбэл, бидний гаргаж буй тэдгээрийн нэг нь кодыг ойлгох үнэлгээ бөгөөд энэ нь урьдчилан таамаглах явдал юм.

SWYX [00:57:44]: чи мэднэ,

ЖОШ [00:57:44]: энэ хувьсагч нь юу байх вэ, эсвэл код гэх мэтийн талаар асуулт асуух уу. Энэ бол бидний гаргаж болох анхны жишиг үзүүлэлтүүдийн нэг юм. Эдгээр нь программын дагуу үүсгэгдсэн тул бид үүнийг бараг хязгааргүй хэмжээгээр үүсгэж болох тул бид үүнийг хэсэгчлэн гаргаж болно. Тиймээс, сургалт, туршилтын багцад авлига шиг байх талаар санаа зовохгүй байна. Тиймээс энэ нь үүнийг бага зэрэг болгодог.

SWYX [00:58:03]: бидний хувьд арай хялбар.

ЖОШ [00:58:04]: Гэхдээ бид гаргах боломжгүй өөр өгөгдлийн багцуудыг бүтээсэн гэж бодож байна. Тэдний зарим нь, чи мэднэ,

SWYX [00:58:09]: жишээ нь,

ЖОШ [00:58:09]: Учир нь тэд өөр нээлттэй эхийн кодыг ашигладаг тул бид үүнийг дахин хуваарилах боломжгүй. Бусад нь, учир нь, та нар мэдэж байгаа, миний бодлоор үнэлгээ, өгөгдөл нь бизнесийн гол, чухал хэсэг юм. Мөн бид үнэлгээг маш нухацтай авч үздэг бөгөөд үнэлгээний багцын нэг хэсэг болгон яг юу хийдэг вэ? Та эдгээр зүйлийг хэрхэн үнэлдэг вэ? Эдгээр үнэлгээнээс хойш бид өөр олон зүйлийг хийсэн.Гэхдээ энэ бол бидний гол анхаарал хандуулдаг зүйл учраас би код ойлгохтой адил зүйл гэж боддог. Мөн энэ нь үндэслэлийг судлах сайхан газар юм.

SWYX [00:58:40]: Та кодын ойлголттой төстэй хувьсагчийн түвшин шиг, маш бичил контекст шиг бага зэрэг ярьж байх шиг байна. Том кодын контекст ч бас байдаг уу? Дашрамд хэлэхэд би үүгээр юу хэлэх гээд байгааг мэдэхгүй байна. Хэрэв би ахлах инженерийг кодын баазыг хар гэж хэлвэл тэд архитектурыг өргөн түвшинд, гэхдээ дизайны шийдвэрийг ойлгож, надад хэлж чаддаг байх шиг байна.Энэ нь ашигтай эсэхийг би мэдэхгүй, гэхдээ энэ нь тэдэнтэй хамтран ажиллаж магадгүй хүний хувьд надад хэрэгтэй гэсэн үг юм. Тиймээ.

ЖОШ [00:59:06]: Энэ өгөгдлийн багц нь илүү доод түвшний кодын ойлголттой адил юм.

SWYX [00:59:10]: шууд утгаараа шиг

ЖОШ [00:59:10]: энэ кодонд юу болж байна. Энэ нь ихэвчлэн, чи мэдэж байгаа учраас,

SWYX [00:59:13]: энэ бол нэг хэсэг

ЖОШ [00:59:13]: нүүрс ус тааруулах хэмжүүр гэх мэт.

SWYX [00:59:15]: Бидэнд санаа тавьдаг шиг

ЖОШ [00:59:15]: бага хэмжээний хувилбар

SWYX [00:59:17]: үүнээс бас.

ЖОШ [00:59:17]: Бид жижиг хэмжээний загвар өмсөгчдийг энэ талаар ямар нэгэн зүйл хийхийг хүсч байна. Тиймээс энэ нь үүнд анхаарлаа хандуулж байна.

SWYX [00:59:22]: Энэ нь илүү их байх болно гэж найдаж байна

ЖОШ [00:59:22]: бусад хүмүүст хэрэгтэй. Гэхдээ тийм,

SWYX [00:59:25]: бусад асуултууд

ЖОШ [00:59:25]: бас нэлээд сонирхолтой. Энэ нь сайн архитектур мөн үү, үгүй юу гэх мэтийг үнэлэхэд илүү хэцүү болдог. Та бид хоёр хэсэг хугацаанд өөр өөр архитектурын талаар маргаж магадгүй юм. Тиймээс эдгээр үнэлгээг хийх нь илүү бодитой болох тусам илүү төвөгтэй болдог. Тиймээс энэ бол бидний маш их, ялангуяа кодын үеийнх шиг тоглож байсан зүйлсийн нэг гэж би бодож байна.

SWYX [00:59:44]: Хэрэв та хэлж байгаа бол

ЖОШ [00:59:44]: Та мэдэж байгаа, энэ функцийг хэрэгжүүлээрэй, за, энэ нь бодитой байж болох ч, MBPP хүртэл бид энэ өгөгдлийн багцын дотоод хувилбарыг хийсэн, тийм үү?

SWYX [00:59:52]: Бид хаашаа авч явсан

ЖОШ [00:59:52]: жишээ бүр

SWYX [00:59:54]: Тэгээд үүнийг хараад,

ЖОШ [00:59:54]: Энэ үнэхээр утга учиртай юу? гэх мэт, ямар төрлийн гарын үсэг вэ? Бид бүх ойлгомжгүй байдлыг арилгаж чадах уу?

SWYX [01:00:00]: Тэгэхээр та асуулт бүрийг хянаж үзэх дуртай, энэ нь HelloSwag шиг боломжгүй гэсэн үг, тийм ээ? Тиймээ тиймээ.

ЖОШ [01:00:05]: Бид HelloSwag-ийн төлөө үүнийг хийгээгүй, гэхдээ энэ нь MBPP-д зориулагдсан бөгөөд энэ нь хэдхэн зуутай адил юм. Тиймээс бид зүгээр л суугаад үүнийг хийсэн. Тиймээ.

ЖОНАТАН [01:00:12]: Би энэ өгөгдлийн багцыг үзэж байгаадаа маш их баяртай байна. Энэ бол нийгэмд зориулсан ийм нөөц юм шиг. Би үнэхээр хүлээж чадахгүй байна. Бид магадгүй хийх ёстой,

ЖОШ [01:00:19]: Би мэдэхгүй. Бид эдгэрсэн MBPP нэгийг хийхээр төлөвлөж байсан эсэхийг би мэдэхгүй.

SWYX [01:00:23]: гэхдээ бид чадна гэж найдаж байна

ЖОШ [01:00:23]: тэр ирээдүйд. Та SweetBench-г харсан уу?

SWYX [01:00:26]: Энэ бол зуны халуун шинэ мэдээллийн багц юм.

ЖОШ [01:00:28]: Тийм ээ, би хурдан харлаа

SWYX [01:00:29]: SweetBench-д.

ЖОШ [01:00:29]: Энэ үнэхээр сонирхолтой юм. Энэ нь алдаа засах кодчилол, кодтой холбоотой илүү хэцүү ажил гэдэгт би дуртай. Эдгээр асуудлуудын зарим нь илүү бодитой болсны дараа үнэлэхэд илүү хэцүү байдаг гэж би бодож байна. Бид AgentBench цаасыг харж байсан шиг өнгөрсөн долоо хоногт манай цаасан клубын хувьд болон нэг зүйлийг бодож байна.

SWYX [01:00:49]: бидний анзаарсан

ЖОШ [01:00:49]: Энэ нь үнэндээ хавсралтад байгаа хоёр жишээтэй адил бөгөөд үүнийг зөв хийсэн ул мөр мэт өгөгдсөн. Энэ нь үнэндээ зөв шийдэл биш юм. Тэгээд зүгээр. Та мэдэж байгаа, зүгээр. Шалгалтыг давсан юм шиг. Энэ бол хэмжүүр нь ийм зүйл юм.

SWYX [01:01:02]: Энэ бол жишиг үзүүлэлт юм

ЖОШ [01:01:02]: тухай, тийм үү? Гэхдээ сая хэлсэнчлэн,

SWYX [01:01:05]: чи мэднэ дээ,

ЖОШ [01:01:05]: цэг код ASCII. За, энэ нь үүнийг хийх зөв арга биш юм шиг. Энэ нь таны энэ зүйлийн үйлдвэрлэлд санаа тавих байсан бусад бүх ирмэгийн тохиолдлуудыг хаясан шиг.

SWYX [01:01:14]: Мөн ийм зүйл байдаг

ЖОШ [01:01:14]: үүнийг хийх илүү сайн арга.

SWYX [01:01:16]: Тэгээд чи мэднэ,

ЖОШ [01:01:16]: Жинхэнэ алтан толбо ийм л байсан. Гэхдээ чи мэдэж байгаа, зүгээр. Гэхдээ энэ бүгдийг яаж шалгах вэ?

SWYX [01:01:21]: Чиний хийж эхэлсэн шиг

ЖОШ [01:01:21]: Эдгээр алдааг арилгах бүх боломжит аргуудын тестийн хамрах хүрээг авах гэх мэт илүү бодитой зүйл, туршилтын хамрах хүрээ нь үнэхээр хэцүү юм. Үнэлгээ бол цорын ганц зүйл юм

ЖОНАТАН [01:01:28]: бүх зүйлийн хамгийн хэцүү хэсэг. Би үйлчлүүлэгчиддээ хэлэхэд маш их цаг зарцуулдаг шиг.

SWYX [01:01:34]: Бид арга олох хэрэгтэй

ЖОНАТАН [01:01:34]: GPU-д хүрэхээсээ өмнө загвараас юу хүсч байгаагаа хэмжих. Мөн та нар мэдэж байгаа, миний багийг болон намайг энэ талаар бидний зөвлөгөөг байнга дагаж мөрдөхийг итгүүлэхийг хичээдэг. Хүн бүр нэг талаас таалагддаг гэж би бодож байна.

SWYX [01:01:46]: инээхэд амархан

ЖОНАТАН [01:01:46]: Бидэнд байгаа үнэлгээний байдалд. Тэдний аль нь ч сайн биш. Хэрэв та эдгээр үнэлгээний жишиг үзүүлэлтүүдийг уншвал үргэлж холдох болно.

SWYX [01:01:52]: сэтгэл дундуур байна.

ЖОНАТАН [01:01:53]: Гэсэн хэдий ч тэд бидэнд авирахад хэрэгтэй толгодуудыг өгсөн. Мөн бид ахиц дэвшил гаргаж, хэмжиж байх шиг байна

SWYX [01:01:58]: салбарт ахиц дэвшил.

ЖОНАТАН [01:01:58]: Загвар өмсөгчид жилээс жилд сайжирч байна гэж би бодож байна. Тиймээс хүмүүс аль нэг нөхцөл байдалд орж, ямар ч хамаагүй юм шиг санагддаг. Би зүгээр л алдагдлыг харах гэж байна

SWYX [01:02:07]: эсвэл дуртай, чи мэднэ,

ЖОНАТАН [01:02:08]: Эвалууд маш их чухал бөгөөд бүгд эвдэрсэн. Тэгэхээр би яах вэ? Мөн би гүн гүнзгий суралцахын тулд олон зүйл шиг бид бүрэн төгс бус байдалтай эвлэрэх ёстой гэж боддог. Миний харж байгаа хамгийн амжилттай эрдэмтэд бол дэлхий дээр үйл ажиллагаагаа хэвийн явуулж байгаа хүмүүс юм шиг.

SWYX [01:02:20]: бүх зүйл хаана байна

ЖОНАТАН [01:02:20]: эвдэрнэ.

SWYX [01:02:22]: Гэсэн хэдий ч бид чадна

ЖОНАТАН [01:02:22]: юмыг эвлүүлж, ямар нэгэн зүйл хий

SWYX [01:02:24]: сонирхолтой үйл явдал.

ЖОНАТАН [01:02:24]: Бид зүгээр л шууд утгаараа дэд бүтцийн талаар ярилцаж байсан гэсэн үг. Тэгээд одоо бид бүх замдаа байна

SWYX [01:02:28]: таалагдах хүртэл,

ЖОНАТАН [01:02:28]: Загвар өмсөгч нарийн төвөгтэй кодлох даалгаврыг зөв гүйцэтгэсэн эсэхийг бид хэрхэн хэмжих вэ? Тэгээд бүх зүйл эвдэрсэн.

SWYX [01:02:34]: Гэсэн хэдий ч бид боломжтой хэвээр байна

ЖОНАТАН [01:02:34]: асар их ахиц дэвшил гаргах.

SWYX [01:02:36]: Би үүнийг зөв гэж бодож байна, Жонатан.

ЖОШ [01:02:38]: Энэ бол сорилт юм

SWYX [01:02:40]: заавал байх албагүй

ЖОШ [01:02:40]: төгс үнэлгээ хийх. Миний бодлоор манай блогийн нийтлэл бол энэ нь ямар харагддаг вэ? Тэгээд би нэг зүйлийг нэг л зүйл гэж бодож байна, чи мэднэ,

SWYX [01:02:49]: Таны хэлсэнчлэн,

ЖОШ [01:02:49]: Бид эдгээрийг төгс болгохгүйгээр маш их ахиц дэвшил гаргаж чадсан.

SWYX [01:02:52]: Гайхалтай.

ЖОШ [01:02:52]: Та төгс үнэлгээтэй байх албагүй. Хамгийн сонирхолтой ажил бол бидний заавал нийтлэх боломжгүй зүйлс бөгөөд энэ нь жишээлбэл, кодчиллын бодит даалгаврын хувьд төгс бус үнэлгээ юм.

SWYX [01:03:04]: Энэ юу вэ

ЖОШ [01:03:04]: үнэхээр хүний хувьд гэсэн үг үү? Таны хэлсэнчлэн илүү замбараагүй байна.

SWYX [01:03:08]: Тэгэхээр энэ нь хамаагүй хэцүү юм

ЖОШ [01:03:08]: "Хөөе, хүн бүр үүнийг ашигладаг, учир нь маш олон байдаг" гэж хэлэхийн тулд

SWYX [01:03:12]: барзгар ирмэгүүд.

ЖОШ [01:03:12]: Өө, энэ бүр зөв ажил мөн үү? Энэ нь бүр үүнийг хийх зөв арга мөн үү? Мөн маш их шүүлт байдаг.

SWYX [01:03:19]: Маш их зөн совин байдаг

ЖОШ [01:03:19]: Энэ нь бууж ирдэг. Гэхдээ тийм ээ, би үүнийг хийх нь чухал гэж бодож байна

SWYX [01:03:23]: Хэрэв та үнэхээр хүсч байвал

ЖОШ [01:03:23]: Эдгээр системийг ажиллуул.

ЖОНАТАН [01:03:24]: Тийм ээ, чи энэ хооронд амьдрахтай эвлэрэх хэрэгтэй.

SWYX [01:03:28]: Тиймээ.

ЖОНАТАН [01:03:28]: Тэгээд би ямар нэг утгаараа

SWYX [01:03:30]: Би судлаачдыг ажилд авахдаа

ЖОНАТАН [01:03:30]: Энэ бол миний хайж буй номер нэг чанар юм. Тэд цэвэрхэн ч биш, замбараагүй байшинд тайван амьдарч чадах уу?

SWYX [01:03:36]: гэхдээ энэ нь зүгээр л нэг юм

ЖОНАТАН [01:03:36]: Энэ хооронд хаа нэгтээ? Тэгээд тэд зүгээр үү? Ширээн дээр хэдэн аяга таваг, хэдэн хувцас байхад тэд зүгээр үү?

SWYX [01:03:42]: шалан дээр байх уу?

ЖОНАТАН [01:03:43]: Эсвэл энэ нь тэднийг галзууруулах болов уу? Эсвэл тэд зүгээр л шалан дээрх бүх хувцастай болж, бүх аяга тавганд байнга дуртай байх болов уу? Яг л би энэ төгс тэнцвэрийг хайж байна, учир нь бид энэ төгс бус ертөнцөд ажиллах ёстой. Тийм ээ, цаашаа явж, програмистуудын төгс үнэлгээг надад өгөөч

SWYX [01:03:58]: эсвэл LLM-ийн хувьд

ЖОНАТАН [01:03:58]: Энэ бол програмын туслах хэрэгсэл юм. Төгс үнэлгээ байхгүй юм шиг. Гэхдээ бид ахиц дэвшил гаргасан нь тодорхой. Тиймээс хамгийн чухал хэсэг нь

SWYX [01:04:06]: Бид зүгээр л мөн үү

ЖОНАТАН [01:04:06]: зөв толгод руу авирах уу? Тийм ч учраас би үүний хоёрдмол утгатай талыг хараад маш их баяртай байна. Бид ихэвчлэн эдгээр жишиг үзүүлэлтүүд дээр авирах илүү зайтай гэж боддог. Бид тэгдэггүй нь харагдаж байна. Эсвэл үнэндээ бид авирч, жишиг үзүүлэлтдээ сайн болж, жишигт хүрэхээ больсон.

SWYX [01:04:21]: Магадгүй загвар өмсөгч,

ЖОНАТАН [01:04:21]: Хэрэв та MNIST-д 100% авбал таны загвар ямар нэгэн байдлаар эвдэрсэн байх ёстой гэсэн алдартай жишээ юм, учир нь буруу шошготой дөрвөн жишээ байдаг, энэ нь дахин давтагддаг. Үүнд тавтай морил.

SWYX [01:04:33]: Тийм ээ, энэ бол санамсаргүй канарын канар юм. Миний бодлоор нэг зүйл бол

ЖОШ [01:04:37]: Энэ талаар үнэхээр сонирхолтой зүйл бол тийм ээ, хоёрдмол утгатай жишээнүүд нь бидний үнэлж буй эдгээр тодорхой ажлуудын үүднээс тийм ч сайн биш юм.

SWYX [01:04:46]: Гэхдээ үнэндээ нэг зүйл

ЖОШ [01:04:46]: Бидний маш их сонирхож байгаа зүйл бол хоёрдмол утгатай. Хэрэглэгчийн даалгавар хоёрдмол утгатай эсэх, эсвэл та даалгавраа амжилттай гүйцэтгэсэн эсэхийг бид илрүүлж чадах уу? Эдгээр нь үнэхээр хэцүү, замбараагүй асуудлууд боловч эдгээр загваруудыг ашиглах хэрэглэгчийн туршлагаас харахад үнэхээр чухал юм. Надад нэг зүйлийг буцааж өгөх кодчилогчтой байхыг илүүд үздэг.Энэ нь үнэндээ код нь бусад загвартай харьцуулахад 10% -иар бага ажилладаггүй гэдгийг та мэднэ, гэхдээ энэ нь надад 100% итгэлтэй биш байгаа үеийг хэлэх болно. Хэрэв энэ нь харилцаж чадвал энэ нь илүү ашигтай юм шиг, би энэ талаар сайн мэдэхгүй байна, эсвэл энд зарим алдаа байгаа байх. Дараа нь яг л энд зарим код байна. Энэ нь ажиллаж байгаа эсэхийг би мэдэхгүй байна. Тиймээс ийм төрлийн хүмүүс хоёрдмол утгатай байдлыг илрүүлж, зөв байдлыг илрүүлэх гэх мэт.

SWYX [01:05:25]: эсвэл тодорхойгүй байдал,

ЖОШ [01:05:25]: Миний бодлоор үнэхээр сонирхолтой асуудлууд байна

SWYX [01:05:27]: Бид үнэхээр адилхан

ЖОШ [01:05:27]: нэлээд гүнзгий ухаж байна.

SWYX [01:05:29]: Би эвалын хэд хэдэн халуун сэдвийг хөндөхийг хүсч байна, магадгүй тангенциал холбоотой байж магадгүй, гэхдээ бид яг одоо Evals галт тэргэнд явж байна. Тэгэхээр би зүгээр л үүн дээр гарах гэж байна. Франсуа Чоллетын халуухан шинэ зүйл болох ArcAGI, энэ бол үндсэндээ хийсвэр IQ тестээр үндэслэлийг хэмжихийг хичээж байгаа явдал юм. Үр дүнтэй, би та үүнийг ашигладаггүйг анзаарсан. Олон нийтийн мэтгэлцээн, түүнийг дэмжиж, хууран мэхлэх. Илүү хийсвэр үндэслэл, магадгүй ArcAGI-ийн талаар та ямар бодолтой байна вэ?

ЖОШ [01:06:01]: Бид BigBench-ээс зориудаар хол байсан гэж бодож байна, жишээлбэл, миний хувьд маш их, миний бодлоор маш бодитой бус ижил төстэй ажлуудыг мэдэрдэг. Өө, чи мэдэж байгаа, бид өөр өөр өнгийн номтой, дараа нь та тэдгээрийг хольж, аль ном нь зүүн тийшээ хамгийн хол байх болно, эсвэл "За, дажгүй, энэ нь цэвэрхэн байна" гэх мэт. Энэ нь бидний хувьд илүү том гогцоонд агент шиг үндэслэлийг судлах нь цэвэрхэн гэж бодож байна.Мөн бид тэнд ийм төрлийн үнэлгээнд санаа тавьдаг. Энд байгаа блог нийтлэлд бидний ярьж буй үнэлгээний төрлүүд нь үндсэн загварын утгаараа энэ загвар ажиллаж байна уу? Эдгээр үнэлгээнд бодлын гинжин хэлхээ байхгүй. Эдгээр нь яг л хариулт руу шууд очно уу. Энэ нь утга учиртай юу?

SWYX [01:06:42]: Энэ тийм зүйл мөн үү

ЖОШ [01:06:42]: Та маш хурдан хариулж чадна уу? Энэ бол бидний эдгээр үнэлгээгээр сонгосон зүйл юм. Энэ нь бидэнд байгаа цорын ганц үнэлгээ гэсэн үг биш юм. Миний бодлоор Arc-ууд нь бидний хувьд үнэхээр нэгтгэх боломжтой байхын тулд бага зэрэг харааны шинж чанартай байдаг.

SWYX [01:06:56]: Гэхдээ миний бодлоор зарим нь

ЖОШ [01:06:56]: BigBench нь... Та үүнийг тэмдэглэж болно.

SWYX [01:06:59]: Тийм ээ, гэхдээ та мэднэ,

ЖОШ [01:07:00]: Энэ үнэхээр тийм биш гэж би бодож байна... Та ийм төрлийн жишиг үзүүлэлтүүдэд илүү их цаг зарцуулж болно гэж бодож байна. Тиймээс бид энэ чиглэлд хэт хол явахаас бага зэрэг болгоомжилж байна гэж бодож байна. Үүний нэгэн адил, кодлох тэмцээн гэх мэт. Бид код үүсгэх ажлыг маш их хийдэг, гэхдээ бид маш хэцүү хүмүүст зориулсан кодын өрсөлдөөний асуудалд тийм ч их зүйл хийдэггүй.

SWYX [01:07:20]: Тэгэхээр та явж болно гэж бодож байна

ЖОШ [01:07:20]: Энэ замаас маш хол

SWYX [01:07:22]: мөн ийм зүйл хий,

ЖОШ [01:07:22]: Эдгээр асуудалд үнэхээр сайн, гэхдээ үнэндээ өдөр тутмын программист шиг тийм ч ашигтай биш.

SWYX [01:07:26]: Тиймээ.

ЖОНАТАН [01:07:27]: Өөр тактик хэрэглээрэй, энэ нь өдрийн төгсгөлд Databricks-д би 12,000 үйлчлүүлэгчтэй, эсвэл энэ бол хамгийн сүүлийн үеийн тоо гэж бодож байна, тэд бүгд ямар нэг зүйл хийхийг оролдож байна. Та мэдэж байгаа, LLM эсвэл хиймэл оюун ухаан эсвэл машин сурах. Мөн эдгээр зүйлс эдгээр даалгавар шиг харагдахгүй байна. Хийсвэр сэтгэхүйн асуудлыг шийдэхийг гуйж байгаа ганц ч үйлчлүүлэгч надад байхгүй гэж бодож байна. Эдгээр нь хоёрдмол утгатай байж болно.

SWYX [01:07:53]: Тэд сорилттой байж болно,

ЖОНАТАН [01:07:53]: Тэд үнэхээр сонирхолтой байж болно,

SWYX [01:07:55]: гэхдээ тэдний хэн нь ч ийм харагдахгүй байна.

ЖОНАТАН [01:07:56]: Тэгэхээр би Жошийн санаагаар бол бид яагаад үүнийг хийж байгаа юм бэ гэж асуух гэсэн юм болов уу гэж бодож байна. Хэдийгээр та AGI-г байгуулах гэж оролдож байгаа ч энэ нь миний хувийн зорилго биш бөгөөд Жош надад энэ талаар надаас хамаагүй илүү сонирхолтой зүйл байгаа гэдгийг та мэднэ. Энэ бол миний хувьд сэтгэл хөдөлж, санаа зовдог ийм оюун ухаан мөн үү, эсвэл Жошийн хэлснээр энэ бол оюун ухааны үзүүлэлт гэж бодож байгаа эсэхийг би мэдэхгүй.

SWYX [01:08:17]: Цэвэрхэн байна.

ЖОНАТАН [01:08:17]: Гэхдээ миний хувьд өгөгдлийн талаар тантай ярилцаж болох загвар өмсөгчтэй байх нь илүү энгийн зүйл гэдгийг та мэднэ.

SWYX [01:08:24]: арын хэсэгт байгаа тэр

ЖОНАТАН [01:08:24]: Таны шууд өгөгдөл дээр SQL асуулга явуулж байна. Энэ бол миний хувьд илүү сонирхолтой ажил юм. Энэ бол миний үйлчлүүлэгчдийн хувьд өдөр тутмын чухал зүйл бөгөөд өөр өөр үзэл бодол, гэхдээ Жош бид хоёр ижил зүйлийг хэлэх байх гэж бодож байна.

SWYX [01:08:36]: Би тэгсэн ч,

ЖОНАТАН [01:08:36]: Би чиний аманд үг оруулахыг хүсэхгүй байна гэж таамаглаж байна. Та өөрийнхөөрөө илүү ерөнхий оюун ухаан хөөцөлдөж байна гэж хэлэх байх. Мөн би явцуу оюун ухаандаа маш их баяртай байна гэж хэлмээр байна. Би бяцхан SQL ботдоо маш их баяртай байгаа бөгөөд 12,000-ыг нь бүтээж байна, учир нь тэд өдөр бүр олон хүмүүст зүү зөөж байдаг.

ЖОШ [01:08:51]: Тийм ээ, би бид тийм ч хол биш гэж бодож байна. Бид ч бас сэтгэл хөдөлж байгаа гэж бодож байна,

SWYX [01:08:58]: чи үнэхээр яаж байна

ЖОШ [01:08:58]: эдгээр зүйлсийг ашигтай болгох уу? Тэгээд энэ нь нэлээд явцуу байх болно. Эдгээр бусад ажлууд нь эдгээр хийсвэр сэтгэхүйн асуултуудыг судлах арга замууд гэх мэт сонирхолтой байх болно гэж би бодож байна, эсвэл "За, төлөөлөгч үүнийг хэрхэн даван туулж чадах вэ?" Гэхдээ энэ нь жинхэнэ асуудал биш тоглоом шиг гэдгийг санах нь чухал юм. Загваруудын талаар бидэнд ямар нэг зүйлийг хэлэх нь шинжлэх ухааны хэрэгсэл юм шиг санагддаг.

SWYX [01:09:16]: Энэ бол бидний хийх ёстой зүйл биш

ЖОШ [01:09:16]: Заавал оновчтой болго.

SWYX [01:09:18]: Миний хэлэх нэг зүйл бол хүүхэд байхдаа би яг ийм төрлийн асуудлыг шийдвэрлэх чадвартаа тулгуурлан авьяаслаг хөтөлбөрт хамрагдсан. Тэгээд дараа нь би коллежийн туршлагатайгаа ямар ч холбоогүй SAT-ыг шийдвэрлэх чадвараараа коллежид элсэн орсон. Тиймээс, бид хүн төрөлхтөнд IQ тестийг ерөнхий чадавхитай уялдуулан хийдэг түүхтэй. За, тэгэхээр дахиад хоёр, хоёр вирусын халдвар, тэгээд би таны цагийг л санахыг хүсч байна.Өвсөнд зүү, урт контекст хэрэглээ. Өө, Бурханы хайрын төлөө. Ямар нэг зүйл, за, за, зүгээр, бид зүгээр л подкаст дээрээ өвсөнд зүү зүүхтэй холбоотой үндсэн асуудлуудын талаар ярилцсан гэж бодъё, гэхдээ ерөнхийдөө урт контекст, тийм үү? Энэ нь агентуудад хэрэгтэй зүйл юм. Би таамаглаж байна. Мөн энэ нь тэнд байгаа зүйл юм. Санах ойг ашиглах хамгийн сайн арга юу болохыг бид мэдэхгүй байна. Гэхдээ би үүнийг чухал гэж бодож байна, тийм ээ?

ЖОНАТАН [01:10:13]: Би энэ өдрүүдэд RAG-ийн талаар маш их цаг зарцуулдаг. Мөн RAG, та нэг талаараа RAG-ийн талаар миний бодож байгаа арга бол энэ бол дэлхийн хамгийн энгийн төлөөлөгч гэдгийг та мэднэ. Энэ бол үндсэндээ загвар бүтээх явцад дор хаяж нэгээс олон зүйл, ядаж систем бий болдог агент юм. Хэрэв та загварт контекстээс өгөгдөл авах эсвэл мэдээллийн сангаас өгөгдөл авахыг хүссэн үедээ шийдэх чадварыг өгвөл бид төлөөлөгчийн тухай ярьж байна.Тиймээс RAG нь хөлийн хуруунд үнэхээр сайхан таалагддаг гэж би бодож байна. Танд үнэхээр урт контекст хэрэгтэй байгаа олон шалтгаан бий. Урт контекст нь өөрөө асуудалтай гэж би бодохгүй байна. Энэ талаар ч гэсэн зарим нэг маргаан байдгийг би мэднэ. Нарийн тааруулахын оронд мянга мянган буудлагын даалгаврыг хийх санаа надад таалагддаг. Би маш олон өгөгдлийг контекстэд оруулах санаанд дуртай. Нэгэнт олон талт газар орчихвол чи зүгээр л дуусна гэсэн санаа надад их таалагддаг.

SWYX [01:10:54]: аварга том контексттэй.

ЖОНАТАН [01:10:54]: Энэ нь зайлшгүй зүйл юм. Нөгөө тал нь номонд нууц нууц үг нууж, түүнийг олохын тулд загвар өмсөгч хэрэгтэй байгаа хүнийг би мэдэхгүй. Өвсөнд зүү хийх нь сонирхолтой юм. Миний оюун санаанд урт контексттэй сорилт, Жош,

SWYX [01:11:08]: Би чамайг юу гэж бодож байгааг сонирхож байна.

ЖОНАТАН [01:11:08]: зүгээр л урт контекстийг тэмдэглэх нь үнэхээр хэцүү бөгөөд үнэхээр үнэтэй юм уу, учир нь танд 10,000 жетон эсвэл 100,000 жетон унших хүн хэрэгтэй, эсвэл 1000 хуудас унших хүн хэрэгтэй юм шиг. Эдгээр урт контекст жишиг үзүүлэлтүүдийг хэмжихийн тулд ном эсвэл түүнтэй дүйцэхүйц. Өгөгдлийн тайлбарыг авахын тулд мөнгө төлөхөд бэлэн байгаа ямар ч хугацаанд хүн үүнийг хийж чадах нь бүү хэл, хүн эдгээр ажлыг шийдэж чадах эсэхийг би мэдэхгүй.Тиймээс аливаа урт контекст үнэлгээ

SWYX [01:11:33]: ямар нэгэн байдлаар,

ЖОНАТАН [01:11:33]: бүтээн байгуулалтаар зөв байх. Мөн та жишээг бүтээхээсээ өмнө хариултыг мэдэх хэрэгтэй. Мөн өвсөнд зүү хийх нь хамгийн энгийн арга юм

SWYX [01:11:41]: үүнийг хийх.

ЖОНАТАН [01:11:41]: Миний бодлоор өвсөн дэх зүүний асуудал сайн мэддэг, энэ нь ямар ч бодит зүйлийг хэмждэггүй. Та контекстийг зөвхөн контекстийн нэг хэсгийг тодорхойлохын тулд контекстийг цогцоор нь ашиглах загварыг туршиж үзэхгүй байна. Тиймээс та KV кэшийг тооцоолох гэх мэт тэнэг зүйлсийг загвартаа хийж болно, учир нь энэ нь давуу талыг бүхэлд нь ашиглахыг оролддоггүй тул өвсөнд зүүг маш сайн ажиллуулж болно.

SWYX [01:11:59]: зүйлсийн.

ЖОНАТАН [01:12:00]: Барилга угсралтын явцад ч зөв хэвээр байгаа надад илүү таалагддаг зүйлсийн талаар зарим нэг бодол төрж байгааг та мэднэ. 10-аас 100 буудлагаас 100 буудлага хүртэл нарийн тааруулахын тулд масштабыг харж болох мянга мянган буудлагын даалгавар хийх санаа надад үнэхээр таалагдаж байна. Барилга угсралтын явцад зөв, ядаж байгаа газартаа байгаа зүйлтэй байх нь надад таалагдаж байна.

SWYX [01:12:19]: сайхан суурь

ЖОНАТАН [01:12:19]: та автоматаар харьцуулж болно. Тиймээс би ихэвчлэн урт контекст нь даалгаврыг шийдвэрлэх нэг арга зам боловч цорын ганц арга зам биш нөхцөл байдал болох ижил төстэй нөхцөл байдлыг хайж байдаг.

SWYX [01:12:28]: даалгаврыг шийдвэрлэх.

ЖОНАТАН [01:12:28]: Мөн бид биечлэн хөвж буй өөр нэг хүчтэй суурь үзүүлэлттэй. Гэхдээ тийм ээ, өвсөнд зүү, наад зах нь хэлэхэд энэ дэлхий дээрх миний хамгийн дуртай зүйл биш.

ЖОШ [01:12:35]: Тийм ээ, би Жонатаны ихэнхтэй санал нийлж байна

SWYX [01:12:38]: гэж би бодож байна.

ЖОШ [01:12:38]: Би өөр нэг зүйлийг дуудах болно гэж бодож байна

SWYX [01:12:40]: Энэ мөн үү, чи мэднэ,

ЖОШ [01:12:40]: кодчиллын хэрэглээний үүднээс авч үзвэл, репо-г бүхэлд нь контекстэд хаяхтай адил залхуу зүйл нь:

SWYX [01:12:48]: За, сайхан байна.

ЖОШ [01:12:48]: Та үүнийг зүгээр л эхлүүлж болно. Гэхдээ бодит хувилбаруудад та бүх зүйлийг тэнд оруулахыг хүсэхгүй байна. Та кодын суурьтай байж болно

SWYX [01:12:56]: Энэ нь илүү том юм.

ЖОШ [01:12:56]: Та төөрөгдүүлэхгүйн тулд ямар ч байсан хамааралтай зүйлсийг шүүж үзэхийг хүсч байгаа байх. Та маш олон контексттэй байсан ч гэсэн чам шиг,

SWYX [01:13:02]: Та үүнийг цэгцлэхийг хүсч магадгүй юм

ЖОШ [01:13:02]: Энэ нь бусад зүйлээс илүү чухал гэж хэлэх нь ямар нэгэн байдлаар. Тиймээс та энэ бүх цагийг дэмий үрж, тооцоолохыг хүсэхгүй байгаа тул хүлээхийг хүсэхгүй байна.

SWYX [01:13:09]: дүгнэлт болон лайк

ЖОШ [01:13:09]: үнэхээр хамаагүй. Тийм ээ, энэ бол хамгийн чухал зүйл гэдгийг би мэдэхгүй.

SWYX [01:13:15]: Хүмүүс бүтээлч хэрэглээний тохиолдлуудыг олох болно гэж би бодож байна. Жонын хэлсэнчлэн олон талт жишээнүүд нь мэдээжийн хэрэг урт контекстэд нөлөөлнө гэж би бодож байна. Гайхалтай. Дараа нь үнэлгээний хэсэгт бидний огт яриагүй байсан агенттай холбоотой чадваруудын сүүлийн нэг нь функц дуудах, багаж хэрэгсэл ашиглах явдал юм. Сүүлийн үеийн чиг хандлага байгаа гэж би бодож байна, үндсэндээ OpenAI-аас параллель функцээр дахин удирддаг. Дөрөвөөс өнөөг хүртэл хэдэн хэрэгсэл дуудаж болох талаар хязгаарлалт үргэлж байдаг гэж би бодож байна, 128.Онолын хувьд Клод, Жем бид хоёр илүү их дэмждэг гэж би боддог.

ЖОШ [01:13:49]: Тэгэхээр ерөнхийдөө,

SWYX [01:13:50]: Та багаж хэрэгслийн хэрэглээг хэрхэн үнэлэх талаар бодож байна вэ? Энэ нь та нарт маш чухал уу? Бид энэ талаар бодож байна

ЖОШ [01:13:55]: арай өөр аргаар, өөрөөр хэлбэл, та үүнийг хатуу кодлогдсон хэрэгслүүдийн жагсаалттай адил авч болно. Гэхдээ хэрэв танд ийм том нээлттэй ижил төстэй хэрэгслүүд таалагдсан бол магадгүй тэдгээр нь зөвхөн хэл эсвэл програмчлалын зүйл шиг, код бичих чадвартай байсан бол дуудаж болох функцүүд шиг байх байсан. Миний бодлоор, хэрэв бид код бичиж чадвал өдрийн төгсгөлд танд эдгээр бүх хэрэгслийг ашиглах боломжтой болсон шиг,

SWYX [01:14:16]: функцийн дуудлага шиг

ЖОШ [01:14:16]: Энэ бол шууд утгаараа кодтой адил функцийн дуудлага юм. Үүнд бидний хандлага ийм байна гэж би бодож байна

SWYX [01:14:21]: санаа зовохын оронд

ЖОШ [01:14:21]: багаж хэрэгсэл ашигладаг хачирхалтай хатуу кодлогдсон агентууд шиг, зүгээр л хийцгээе.

SWYX [01:14:25]: үнэхээр боломжтой

ЖОШ [01:14:25]: кодыг сайтар бичиж, кодыг ажиллуулж, тэр кодыг дибаг хийх боломжтой болго, тэр кодыг ажиллуулахад аюулгүй эсэхийг мэдэж, ижил төстэй код бичих, гүйцэтгэх хэсэгт үнэхээр сайн байгаарай, учир нь энэ нь 128 хэрэглүүрээс хамаагүй илүү үйл ажиллагааны орон зайг нээх болно. Бүх зүйл таны гарт байгаа шиг, ялангуяа ойрын хэдэн жилийн хугацаанд бидэнд маш олон үнэхээр сайн API байгаа юм шиг санагдаж байна.Бид код бичихдээ улам сайжирч байгаа тул өнөөдөр API-гүй зүйлд API хийх боломжтой болно. Энэ талаар бид ийм байдлаар бодож байгаа нь онцгой зорилготой зүйл биш юм.

SWYX [01:14:52]: гэх мэт

ЖОШ [01:14:52]: Энэ бол код дээр анхаарлаа төвлөрүүлэх нэг шалтгаан юм.

SWYX [01:14:55]: Миний төгсгөлд,

ЖОНАТАН [01:14:55]: Миний энэ талаар бодож байгаа зүйл бол загварууд өгөгдөлтэй хэрхэн харьцдаг талаар би маш их боддог.

SWYX [01:15:00]: Миний хувьд,

ЖОНАТАН [01:15:00]: багаж хэрэгсэл ашиглах нь үнэхээр загвар өмсөгчдийг хэрхэн хүлээж авах вэ гэдэг асуудал юм

SWYX [01:15:04]: Энэ үнэхээр баригдсан

ЖОНАТАН [01:15:04]: Бүтэцгүй өгөгдлийн хувьд

SWYX [01:15:06]: мөн тэдэнтэй харилцахыг хүс

ЖОНАТАН [01:15:06]: бүтэцлэгдсэн өгөгдөлтэй юу? Тиймээс, би үйлчлүүлэгчдээсээ маш их асуулт авдаг.

SWYX [01:15:10]: Би юу хийдэг вэ

ЖОНАТАН [01:15:10]: хүснэгтийн өгөгдөлтэй юу? Эсвэл би JSON шиг юу хийх вэ? Эсвэл би юу хийх вэ? Би үүнийг юу хийдэг вэ гэх мэтээр нэрлэж байна

SWYX [01:15:17]: PDF-тэй юу?

ЖОНАТАН [01:15:17]: Учир нь PDF задлан шинжлэх нь 2024 онд ч шийдэгдээгүй асуудал хэвээр байна. Хариулт, тэр ч байтугай үндсэн асуулт.

SWYX [01:15:24]: гэх мэт, би санаа зовох уу

ЖОНАТАН [01:15:24]: Өгөгдлөө дахин зохион байгуулах уу? Би зүгээр л ширээгээ шидэх ёстой биш гэж үү? Би үүнийг тэгшлэх ёстой биш гэж үү?

SWYX [01:15:28]: тэгээд зүгээр л хая

ЖОНАТАН [01:15:28]: LLM контекст болон дуртай загвар

SWYX [01:15:30]: ойлгох уу?

ЖОНАТАН [01:15:30]: Хариулт нь үгүй. Бид эдгээр бүх хөгжилтэй API болон хөгжилтэй хэлүүдийг бүтээсэн

SWYX [01:15:36]: ба парадигмууд

ЖОНАТАН [01:15:36]: Олон жилийн турш бүтэцлэгдсэн өгөгдөлтэй харьцах. Зүгээр л тэдгээрийг ашигла.

SWYX [01:15:40]: Загвар өмсөгчдөө ашиглаарай.

ЖОНАТАН [01:15:40]: Харилцах чадвартай загварыг сурга

SWYX [01:15:42]: Эдгээр зүйлстэй

ЖОНАТАН [01:15:42]: утга учиртай байдлаар. SQL-ийн текст шиг

SWYX [01:15:45]: хэвээр байна,

ЖОНАТАН [01:15:45]: эсвэл загвар өмсөгч арын хэсэгт SQL дуудлага хийх чадвартай байх нь үнэндээ синглүүдийн нэгтэй адил юм.

SWYX [01:15:51]: хамгийн хэрэгтэй зүйлс

ЖОНАТАН [01:15:51]: Миний үйлчлүүлэгчдэд зориулав. Энэ үнэхээр уйтгартай сонсогдож байна. Загвар өмсөгчид үүнд үнэхээр сайн. Мөн энэ нь зүүг өдөр бүр хөдөлгөдөг.

SWYX [01:15:57]: Тиймээс надад багаж хэрэглээрэй

ЖОНАТАН [01:15:58]: Та зүгээр л бүтэцтэй мэдээллийн эх сурвалжтай хэрхэн харьцаж, өөрт байгаа давуу талыг ашиглах вэ?

SWYX [01:16:05]: өмнөх мэдлэг

ЖОНАТАН [01:16:05]: LLM бүрэн хавтгайрах таны өгөгдлийн бүтцийн талаар. Олон талаараа энэ бол LLM кодтой сайн ажилладагт миний хамгийн том бухимдлын нэг юм. Бидэнд хэдэн арван жил, арван жил, арван жил бий

SWYX [01:16:17]: ойлголтын тухай

ЖОНАТАН [01:16:17]: хөтөлбөрийн бүтэц, тайлбарын тухай. Миний бодлоор энэ бол програмчлалын тухай номын нэр юм шиг, хэрэв би зөв санаж байгаа бол. Мөн та нар мэдэж байгаа, бидэнд энэ бүх онол бий. Хэрэв тэдгээр нь сайн хөгжсөн хэл бөгөөд зөв шинж чанартай бол програмчлалын хэлний талаар мэдэх ёстой бүх зүйлийг бид мэднэ. Гэсэн хэдий ч бид LLM-тэй болсон үед

SWYX [01:16:31]: тэдэнтэй хамт ажилла,

ЖОНАТАН [01:16:31]: Бид үүнийг зүгээр л жетон урсгал болгон хувиргадаг.

SWYX [01:16:33]: Хэдийгээр бид мэдэж байгаа

ЖОНАТАН [01:16:34]: яаж задлан шинжлэх вэ. Бид бүх төрлийн зүйлийг яаж хийхийг мэддэг, чи мэднэ.

SWYX [01:16:38]: лавлагаа, чи мэднэ,

ЖОНАТАН [01:16:38]: хоёрдмол утгатай гэх мэт зүйлс. Бид үүнийг загвар болгон тэгшитгэж, загвар өмсөгчийг энэ бүх зүйлийг эхнээс нь дахин сургахад хүргэсээр байна. Мөн энэ нь урам хугарах болно

SWYX [01:16:45]: Новш минь.

ЖОНАТАН [01:16:45]: Кодын талаар надад илүү сайн хариулт байхгүй, гэхдээ тэдгээрт бүтэц бий болсон олон мэдээллийн эх сурвалжид би үнэхээр талархаж байна. Хэрэгслийн хэрэглээ болон функцийн дуудлага

SWYX [01:16:53]: шударга,

ЖОНАТАН [01:16:53]: Миний бодлоор,

SWYX [01:16:55]: Тэгэхээр таны хэлж байгаа зүйл бол үндсэндээ код бол Жонатанд зориулсан Бурханы хэрэгсэл юм шиг санагдаж байна. SQL бол энэ бүх өгөгдөлд хандахад маш зөв хийсвэр зүйл гэдгийг та мэднэ. Миний маш их цаг зарцуулдаг нэг зүйл бол SQL хүснэгтэд тохирохгүй зүйлсийн талаар бодох явдал юм. Мэдлэгийн график хариулт мөн үү? Миний бодлоор олон хүмүүс үүнийг судалж байгаа бөгөөд хааяа хүмүүс мэдлэгийн графикийн шашныг олж авдаг, дараа нь энэ нь бүтдэггүй гэж би боддог.Тиймээс би гайхаж байна, би эцсийн төлөв гэж юу вэ. Энэ нь хаана гайхамшиг болох тухай санаа мөн үү? Эсвэл энэ нь хэзээ нэгэн цагт хаана ажиллах тухай санаа мөн үү? Энэ нь зөв хэрэгсэлтэй байх тухай юм

ЖОШ [01:17:27]: асуудлын хувьд, тийм үү? Жонатаны хэлсэнчлэн SQL нь заримдаа гарцаагүй зөв хэрэгсэл болдог. Та өөрийн гэсэн ширээ захиалсан юм шиг, өнгөрсөн сард борлуулалтын тоог мэдэхийг хүсч байна. Та тэр баганыг SQL нийлбэрийг ашиглах ёстой юм шиг. За, гайхалтай. Та бүгд бэлэн боллоо. Мэдлэгийн графикууд бас,

SWYX [01:17:40]: чи мэднэ,

ЖОШ [01:17:40]: заримдаа тодорхой асуудалд тохирох хэрэгсэл болдог. Танд аж ахуйн нэгж хоорондын харилцааны талаар хачирхалтай асуулт байна

SWYX [01:17:46]: загварчилсан

ЖОШ [01:17:46]: Таны ойлгож байгаа зарим онтологи дээр, энэ нь бодит ертөнцийн математиктай адил юм. Агуу их. Мэдлэгийн баазыг ашигла. Мэдлэгийн график ашиглах шиг. Энэ бол зүгээр. Гэхдээ бодит амьдрал дээр мэдлэгийн графикийн хэв маягаас илүү замбараагүй болдог гэж би бодож байна, энэ хоёр зангилааны хооронд ямар нэгэн хамаарал байдаг уу? Би мэдэхгүй байна.

SWYX [01:18:04]: Эдгээр нь мөн үү

ЖОШ [01:18:04]: хоёр тусдаа зангилаа? Ийм замбараагүй хил хязгаар шиг урьдчилан сэргийлэх хэрэгтэй гэж би бодож байна

SWYX [01:18:08]: хэрэгсэл байхаас

ЖОШ [01:18:08]: Энэ нь бүх зүйлийг үүрд шийдэж чадна. Тиймээс SQL сайн байдаг шиг энэ нь тодорхой асуудлуудад үргэлж сайн байх болно гэж би бодож байна.

SWYX [01:18:14]: тодорхой асуудлын хувьд.

ЖОШ [01:18:14]: Янз бүрийн хийсвэрлэл нь янз бүрийн асуудалд сайн байдаг шиг. Тийм ээ, би ийм учраас кодын талаар сэтгэл хөдөлж байна гэж бодож байна. Код танд зөвшөөрдөг шиг

SWYX [01:18:20]: зөвийг сонгох,

ЖОШ [01:18:20]: Энэ асуудалд энэ номын санг ашиглацгаая.

SWYX [01:18:22]: Энэ номын санг ашиглацгаая

ЖОШ [01:18:22]: Энэ өөр асуудлын төлөө.

ЖОНАТАН [01:18:24]: Миний бодлоор Жош үүнийг хэлсэн, та үүнийг сайн хэлсэн, код бол Бурханы хэрэгсэл юм шиг. Энэ нь шууд утгаараа бүх зүйлийг нээдэг. Миний хувьд сорилт үргэлж:

SWYX [01:18:31]: Та мэднэ, заримдаа

ЖОНАТАН [01:18:31]: Хэт их хүчийг тайлах нь заримдаа эвгүй зүйл тохиолдож болно. Тиймээс энэ бүхэн үүнийг тэнцвэржүүлэх явдал юм

SWYX [01:18:37]: ямар нэг утгаараа,

ЖОНАТАН [01:18:37]: хэл бол Бурханы хэрэгсэл юм.

SWYX [01:18:39]: Хэрэв та мэдэж байгаа бол,

ЖОНАТАН [01:18:39]: Бид үүнийг хэрхэн тайлбарлахаа байнга мэддэг байсан. Тиймээс код нь үнэхээр сайхан шинж чанартай байдаг

SWYX [01:18:44]: Та ядаж чадна

ЖОНАТАН [01:18:44]: үргэлж үүнийг хэрэгжүүл. Заримдаа та загвараа SQL дуудлага хийх чадвартай байгаасай гэж хүсдэг ба өөр юу ч биш. Асуудлын хувьд эдгээр хил хязгаарыг зөв тогтоож,

SWYX [01:18:52]: Би ийм байх болно гэж бодож байна, би ядаж олон үйлчлүүлэгчээ боддог

ЖОНАТАН [01:18:54]: Энэ талаар маш их бодох болно.

SWYX [01:18:56]: Би өгөх ёстой юу

ЖОНАТАН [01:18:56]: вэбэд нэвтрэх загвар уу?

SWYX [01:18:58]: Энэ үнэхээр тустай юу?

ЖОНАТАН [01:18:58]: Энэ асуудлын төлөө? Бүх хэрэгслийг эргүүлэх нь үнэхээр сайхан сонсогдож байна.

SWYX [01:19:02]: Энэ үнэхээр гэсэн үг үү

ЖОНАТАН [01:19:02]: Би асуудлаа илүү сайн шийдэх гэж байна уу?

SWYX [01:19:04]: Тиймээс би цаг хугацааг анхаарч үзэхийг хүсч байна. Энэ бол үндсэндээ Imbue-ийн өнөөдрийн хувилбарууд дээр үндэслэсэн бидний ярилцлагын тойм гэж би бодож байна. Би та хоёрт дараагийн зүйлд цаг үлдээхийг хүссэн. Магадгүй Жош, хүндэт зочны хувьд та дараа нь юу болох талаар хамгийн түрүүнд явахыг хүсч байгаа байх.

ЖОШ [01:19:19]: Бидэнд эдгээр хувилбарууд байгаа. Бид эдгээр зүйлсийг гаргаж байгаадаа баяртай байна. Миний бодлоор маш олон зүйл байгаа

SWYX [01:19:22]: Бид гаргаагүй байна.

ЖОШ [01:19:22]: Энэ бол бидний ажиллаж байсан цорын ганц зүйл биш юм шиг. Бидний ихэнх нь кодчилол, үндэслэлд анхаарлаа хандуулсан. Ялангуяа бидний сэтгэл хөдөлж байгаа зүйл бол эдгээр зүйлсийг ашигтай болгож чадах уу? Жонатаны хэлж байгаа шиг тийм үү? Энэ нь тоглоомын асуудлын тухай биш юм шиг. Өнөөдөр бид эдгээрийг өдөр тутмынхаа ажлын урсгалд ашиглаж, биднийг хурдасгаж чадах уу? Мөн бидний сэтгэл хөдөлж буй зарим төрлийн дотоод бүтээгдэхүүний прототип, зүйлс байгаа гэж би бодож байна.Тиймээс бид ойрын хугацаанд энэ талаар илүү ихийг хуваалцахдаа баяртай байна. Гэхдээ энэ нь яг одоо бидний жинхэнэ анхаарал хандуулж байгаа зүйл бол манай загвар өмсөгчдөд байгаа эдгээр үнэхээр гайхалтай чадваруудыг хэрхэн ашиглах вэ гэх мэт. Мөн эдгээр нь өнөөдөр бидний хувьд, тухайлбал, бодит ажил хийж байх үеийнх шиг, дараа нь бусад хүмүүст хэрэгтэй байгаа эсэхийг шалгаарай.Ялангуяа код үүсгэх, кодыг ойлгох, кодыг турших, шалгахад анхаарлаа төвлөрүүлж, програм хангамжийг ижил төстэй бат бөх бүтээхээс эхлэх гэх мэт. Маш сайн.

SWYX [01:20:13]: Жонатан?

ЖОНАТАН [01:20:14]: Би хэзээ ч ирээдүйн талаар хэт их ярих дургүй, учир нь та үүнийг өмнө нь надаас сонсож байсан гэж бодож байна. Биднийг ярих дуртай

SWYX [01:20:19]: Бидний ажлаар дамжуулан.

ЖОНАТАН [01:20:19]: Тийм болохоор би тийм ч их шоолох дургүй. Бидний эрхэм зорилго бол Жошийн хэлснээр энэ зүйлийг 12,000 үйлчлүүлэгчид ашигтай болгох явдал юм. Үүний нэг их нь олон нийтийн анхаарлын төвд ордоггүй.

SWYX [01:20:30]: тийм ч их биш

ЖОНАТАН [01:20:30]: нээлттэй эх сурвалжаас чөлөөлөгдөнө. Тиймээс ийм төрлийн форумын хувьд та үнэхээр,

SWYX [01:20:34]: Бидний ярьж байгаа газар

ЖОНАТАН [01:20:34]: Нийгэмд хандаж хэлэхэд, би яг одоо өөрөөсөө ямар сэтгэл хөдөлгөм зүйл гэж асууж байна.

SWYX [01:20:38]: Бид авах уу?

ЖОНАТАН [01:20:38]: ойрын хугацаанд нийгэмд санал болгох уу? Хамгийн сэтгэл хөдөлгөм хэсэг нь бид яг одоо маш олон блог нийтлэл бичиж байна гэж бодож байна. Надад санагдаж байгаа учраас бид шинжлэх ухаанаа улам бүр хуваалцахыг хичээж байна

SWYX [01:20:47]: Бид хийж байсан

ЖОНАТАН [01:20:47]: Эдгээр үнэхээр аварга загваруудыг бүтээх эдгээр том түлхэлтүүд.

SWYX [01:20:50]: Миний бодлоор Жош,

ЖОНАТАН [01:20:50]: Чамд байсан гэдэгт итгэлтэй байна

SWYX [01:20:51]: ижил туршлага.

ЖОНАТАН [01:20:51]: Энэ нь ядаргаатай, бүх зүйлийг шаарддаг бөгөөд та төгсгөлд нь хүрдэг.

SWYX [01:20:54]: тэгээд чи

ЖОНАТАН [01:20:54]: Өө, надад энэ бүх зүйл байгаа

SWYX [01:20:56]: Би яримаар байна.

ЖОНАТАН [01:20:56]: Одоо би энэ асар том түлхэлтийг даван туулж чадсан болохоор энэ тухай ярих цаг олох хэрэгтэй байна. Мөн бид яг одоо энэ горимд байгаа нь гарцаагүй. Тиймээс ойрын хугацаанд ийм зүйл их гарах болно. Мөн та нар мэдэж байгаа, бид үргэлж хөгжилтэй шинэ загваруудыг хоол хийж байна. Загваруудыг нээлттэй эх сурвалжаас гаргах нь бидний өдөр тутмын талх, цөцгийн тос биш гэдгийг би бодож байна.Бидэнд хуваалцах үнэхээр сайхан зүйл, гартаа бага зэрэг цаг гаргаж, GPU-г нөөцлөх үед заримдаа хийдэг хөгжилтэй шагнал юм. Гэхдээ ихэнх тохиолдолд,

SWYX [01:21:20]: бүх зүйл болж байна

ЖОНАТАН [01:21:20]: үйлчлүүлэгчдэдээ. Миний бодлоор Databricks IPO хийхээс 18 сарын зайтай таван жил болж байна. Тиймээс би Databricks гэж бодож байна

SWYX [01:21:26]: 18 сарын хугацаа үлдлээ

ЖОНАТАН [01:21:26]: IPO-оос. Гэхдээ IPO хийхээс 18 сарын зайтай байгаа нь үйлчлүүлэгчдэд хүргэх дарамт их байна гэсэн үг. Мөн бид үүн дээр үргэлжлүүлэн ажиллах болно. Гэхдээ та гайхалтай, сонирхолтой зүйлсийг харна гэж найдаж байна гэж бодож байна.

SWYX [01:21:36]: Хичээлээ орхи

ЖОНАТАН [01:21:36]: зун, намар. Бид тэнд очиход олж мэдэх болно.

SWYX [01:21:39]: Энэ бол зөв зам гэж би бодож байна

ЖОНАТАН [01:21:39]: үүнийг хэлэх. Бид өмнө нь Абракадабра, Алаказам хоёрын тухай ярьж байсныг би мэдэж байна. Миний хэлэх зүйл бол бидний хараахан гаргаагүй байгаа DBRX жижиг загвар нь Абра нэртэй байсан. DBRX-ийг Кадабра гэж нэрлэдэг байсан. Мөн энэ хувьсалд гурав дахь Покемон бий. Одоохондоо би үүнийг л хэлэх болно. Чатбот Арена дээр заримдаа гарч ирдэг гайхалтай зүйлс. Мөн та нар мэдэж байгаа, нүдээ хол байлга. Тийм ээ.

SWYX [01:21:59]: Би шоуны тэмдэглэлд холбоосууд болон зөвлөмжийг үлдээх болно. Энэ нь хүмүүст дагахын тулд талхны үйрмэг үлдээх маш хөгжилтэй арга байсан. Сэрүүн. Би бүх зүйлээ орхиж, зарим нэг дуудлага хийх болно. Бид үүнийг ирэх долоо хоногт гаргах болно. Тиймээс би хиймэл оюун ухааны инженерийн дэлхийн яармагийн чуулганд гүнзгий оролцох болно. Тиймээс хүмүүс зүгээр л хиймэл оюун ухаанд очиж, шууд дамжуулах боломжтой. Залуус та нарт үүнийг дуусгахаас өмнө өөр арга хэмжээ авах дуудлага байна уу?

ЖОШ [01:22:20]: Цорын ганц зүйл бол бид ажилд авах нь гарцаагүй. Тиймээс хэрэв та кодчилол, үндэслэл дээр ажиллах сонирхолтой, энэ бүх зүйл дээр ажиллах сонирхолтой байгаа бол анхнаасаа техник хангамж хэрхэн ажилладагийг төдийгүй загвар өмсөгчид хэрхэн ажилладаг, мөн эдгээр системийг хэрхэн зохион бүтээж байгааг маш гүн гүнзгий ойлгож байгаа бол өдөр бүр өөртөө хэрэгтэй байхын тулд сайн уу гэж хэлээрэй.

ЖОНАТАН [01:22:36]: Миний хэлэх цорын ганц зүйл бол та нар мэдэж байгаа, би үүнийг хэлэх дуртай, энэ өдрүүдэд талбай маш их хөл хөдөлгөөн ихтэй, үр дүнтэй ажил хийхэд маш их нөөц шаардлагатай юм шиг санагдаж байна. Мөн зарим өдөр бүх зүйл хийгдсэн эсвэл өөр хэн нэгэн чамаас өмнө бүх зүйлийг хийж байгаа юм шиг санагддаг. Наад зах нь би докторын зэрэг хамгаалсан өдөр бүр, тэр ч байтугай одоо ч илүү ихийг мэдэрдэг гэдгийг санаж байна. Гэхдээ өнөөдөр Жошоос сонссон зүйл тань энэ салбарт маш их нөлөө үзүүлэх ажил байгааг танд хэлж байгаа байх гэж найдаж байна.Хэрэв та нэг алхам ухарч, эдгээр зүйлсийн заримыг шинээр харж, юу хийж байгаагаа ярьвал. Энд хийх асар их зүйл үлдэж, өдөр бүр асар их сэтгэл хөдөлгөм ажил өрнөж байна. Яг одоо ядарч туйлдсаныг мэдэрч байгаа хүмүүсийн хувьд, би өөрийгөө тэр хүмүүсийн дунд олон хоног гэж тооцож байгаа хүмүүсийн хувьд ийм төрлийн дуслыг хараад, хүмүүс кластер хэрхэн байгуулахаа ойлгодог юм шиг санагддаг зүйлээс ч илүү олон зүйл байгааг харах нь сэтгэл сэргээдэг.Бурхан минь, бидний ойлгож байгаа гэж бодож байгаа эдгээр хов живүүдэд ч гэсэн ойлгох зүйл, хийх ажил их байгааг та мэднэ. Хүн бүр үүнийг дагаж байгаа гэж найдаж байна.

SWYX [01:23:32]: Зүгээр дээ. Үргэлжлүүлээрэй. За, цаг зав гаргасанд маш их баярлалаа, залуусаа. Энэ бол гайхалтай хэлэлцүүлэг байсан бөгөөд бид хүмүүст илүү ихийг уншихын тулд шоуны тэмдэглэлд холбоосыг оруулах болно. Баярлалаа. Маш их баярлалаа.

ЖОШ [01:23:40]: Маш их баярлалаа.