Technology Newsfeed
☀️
Tech

AI санхүүг хэрхэн идэж байна вэ - Brightwave-ийн Майк Коновертой

2023 оны 4-р сард бид нэртэй ангийг гаргасан "Нээлттэй эхийн *үнэхээр* загваруудын ирээдүйн зураглал" ярих Долли , анхны нээлттэй, арилжааны LLM.

Майк тэр үед Databricks-д OSS загваруудын багийг удирдаж байсан. Өнөөдөр Майк подкастдаа эргэн ирж, томоохон хэлний загваруудын хувьсал, тэдгээрийг бүтээхэд хэрхэн ашиглаж байсан тухай "нэг жилийн дараа" шинэчлэлтийг бидэнд өгөх болно. Гэрэлт долгион , хөрөнгө оруулалтын мэргэжилтнүүдийн хиймэл оюун ухааны судалгааны туслах.

Өнөөдөр тэд 6 сая долларын үрийн дугуй зарлаж байна (Алессио, Децибел нараар удирдуулсан!), худалдаанд гарснаас хойшхи сүүлийн 4 сарын хугацаанд үйлдвэрлэлд удирдаж буй 120 тэрбум долларын хөрөнгөөр үйлчлүүлэгчдэд үйлчлэх зарим сургамжийг хуваалцаж байна.

Урт контекст цонхонд итгэх итгэлээ алдах

Манайд саяхан "Llama3 1M контекст цонх" анги Бид контекст цонхны хэмжээгээр хийсэн гайхалтай ахиц дэвшлийн талаар ярилцсан боловч Доллигийн анхны контекст хэмжээ байсныг санахад таатай байна. 1,024 жетон, мөн энэ байсан Ердөө 14 сарын өмнө.

Гэхдээ байхад ойлгох урт нь нэмэгдсэн, загварууд боломжгүй хэвээр байна бий болгох маш урт хариултууд. Түүний эмпирик зөн совин (барьж байхдаа манайхтай таарч байна smol-podcaster ) нь ихэнх арилжааны LLM, түүнчлэн лам нар үүсгэх хандлагатай байдаг хариулт <=1,200 жетон Ихэнх тохиолдолд. Хадлан дахь зүү тестүүд ихэнх контекст хэмжээгээр нисдэг өнгөөр өнгөрөх боловч, контекст нэмэгдэхийн хэрээр хураангуйн нарийн ширийн байдал буурдаг Жишээлбэл, 4,096 max_output-д ойрхон жетонуудыг буцааж өгөхөөс илүүтэйгээр хариултыг ижил жетонд багтаахыг хичээдэг.

Саяхан Dreadnode-ийн Роб Мулла LMSys Arena-ийн үр дүн нь илүү урт хариултыг хэрхэн илүүд үздэгийг онцлон тэмдэглэсэн тул LLM болон хүмүүсийн аль аль нь хариултын чанарыг хянах албагүй сайн баримтжуулсан уртын хазайлттай байдаг:

Image

Майк болон багийнхны үүнийг шийдсэн арга бол даалгаврыг олон дэд даалгаварт хувааж, дараа нь нэгтгэх явдал юм. Жишээлбэл, илүү дэлгэрэнгүй мэдээллийг хадгалахын тулд бүлгийг бүлэг тус бүрээр нь нэгтгэн дүгнэж, дараа нь эдгээр хураангуйг нэгтгэнэ. Brightwave-ийн хувьд энэ нь том хэмжээний текст дээр өөр өөр даалгавруудыг тусад нь гүйцэтгэдэг олон дэд системийг бий болгож, дараа нь бүгдийг нь тайланд нэгтгэж байна.Жишээлбэл, асуултын зорилгыг ойлгох, компаниудын хоорондын харилцааг олж авах, эерэг / сөрөг эсэхийг олж мэдэх гэх мэт.

Майкийн асуулт бол бид загваруудад илүү сайн синтезийн чадварыг шингээж чадах эсэх юм. Та нэг токен таамаглалаас илүү сургалтын үеэр синтезд чиглэсэн үзүүлбэр үзүүлж чадах уу?

"Шүүгчийн LLM" стратеги

Манайд Давид Луаны анги Тэрээр загварууддаа ямар ч жишиг үзүүлэлт ашигладаггүй, учир нь жишиг үзүүлэлтүүд нь тэдний хэрэглэгчийн хэрэгцээг тусгаагүй гэж тэр хэлэв. Brightwave хөшүүргийн талаар зарим зөвлөгөөг хуваалцсан LLM-ийг шүүгчээр:

An Empirical Study of LLM-as-a-Judge for LLM Evaluation: Fine-tuned Judge Models are Task-specific Classifiers
ArXiv-аас шүүгчийн урсгалын жишээ LLM: 2403.02839v1

  • Human vs LLM тойм: Тэд өндөр чанартай өгөгдлийн багцыг бий болгохын тулд хүний тайлбарлагчтай хамтран ажилладаг ч энэ өгөгдөл нь зөвхөн загваруудыг нарийн тааруулахад ашиглагддаггүй төдийгүй ирээдүйн LLM тоймд лавлах үндэс болдог. Шалгалт тохируулга болгон ашиглах найдвартай өгөгдөлтэй байх нь LLM-ийн дүгнэлтэд илүү их итгэхэд тусална.

  • Чуулга тууштай байдлыг шалгах: LLM-г нэг гаралтын шүүгч болгон ашиглахын оронд та өөр өөр LLM-г ашиглан нэг даалгаврын үр дүнг гаргаж, дараа нь өөр LLM-ийг ашиглан тэдгээр үеийнхэн хаана ялгаатай байгааг онцлон харуулах болно. Хоёр гаралт нь утга учиртай ялгаатай юу? Тэд ямар нэг зүйлийн үр дагаврын талаар өөр өөр итгэл үнэмшилтэй юу? Хэрэв өөр өөр загвараас ирсэн үеийнхний хооронд маш их зөрүү байгаа бол та тэдгээрийг шийдвэрлэхийн тулд нэмэлт дамжуулалт хийдэг.

  • Бүртгэлийн баталгаажуулалт: Тэдний бий болгож буй өвөрмөц ойлголт бүрийн хувьд тэд гаралтыг авч, анхны эх сурвалжид үндэслэн мэдээллийн бодит байдлыг шалгахыг LLM-ээс тусад нь хүсдэг. Бодит бүтээгдэхүүн дээр хэрэглэгч ямар ч текстийг онцолж, 1) "Надад илүү ихийг хэлээрэй" 2) "Эх сурвалжийг харуулах" гэж асууж болно. Гаралтын бодит байдлыг 100% баталгаажуулах ямар ч арга байхгүй бөгөөд хүмүүс ердийн бус зүйлд сайн зөн совинтой байдаг тул хэрэглэгчдэд хянан шалгах хэрэгсэлд хандах боломжийг олгох нь түүнд итгэх итгэлийг бий болгоход тусалдаг.

Энэ бүхэн өгөгдөлтэй холбоотой

Түүнийг Databricks-д байх хугацаанд тэд бүтээсэн хүүхэлдэй 15к , бичсэн зааврын дараах бичлэгүүдийн мэдээллийн багц тэдний олон мянган ажилчид. Түүнээс хойш өөр ямар ч компани ийм төрлийн хүчин чармайлтыг давтаагүй өгөгдлийн дайн бүрэн хүчин төгөлдөр байна. Энэ нь сүүлийн нэг жилд тодорхой болсон Загварын хагас задралын хугацаа нь мэдээллийн багцын хагас задралын хугацаанаас хамаагүй богино байдаг. Eleuther-ийн овоо (харна уу Өгөгдлийн багц 101 ) 2020 онд гарсан бөгөөд одоо ч өргөн хэрэглэгдэж байна; Хэрэв та 2020 онд LLM сургасан бол тэд улам сайжирч, хямдарсан тул одоо болтол солих байсан.

Хуучин "RAG v Fine-Tuning" асуултын талаар Майк бидний иш татсан гайхалтай жишээг хуваалцав.

Би хэлний загваруудыг үүдэл эс шиг боддог бөгөөд дараа нь нарийн тохируулгын дагуу тэдгээр нь янз бүрийн төрлийн тусгай эсүүдэд хуваагддаг. Хязгааргүй агентын зан үйл нь ашигтай гэж би бодохгүй байна, үүний оронд ашигтай LLM систем нь системийн үйл ажиллагаа нь олон янзын зан үйлийн дэглэмийн аль нэгийг эзэлж, зорилгодоо хүрэхийн тулд дараа нь ямар мужийг эзлэх талаар шийдвэр гаргадаг хязгаарлагдмал төлөвийн машинтай адил юм. .Таны систем нэвтэрч буй эдгээр төлөвүүдийн графикийн талаар бодохдоо нэг зан үйл нь ашигтай, давтагдах боломжтой бөгөөд тодорхой төрлийн дэд систем болгон ялгахад үнэ цэнэтэй гэдэгт итгэлтэй болсны дараа нарийн тааруулж, сургалтын өгөгдлийг тусгайлан бий болгохтой адил юм. Хүний тайлбарлагч нь зан үйлийн тодорхой ангиллыг олж авахад хангалттай ашигтай корпус үүсгэдэгтэй адил бид эдгээр системд цэвэр шинэ мэдээлэл оруулах гэж оролдохын оронд нарийн тохируулга ашигладаг.

Мэдлэгийн график олборлох, хувийн болон олон нийтийн мэдээлэл, хэрэглэгчийн санаа зорилгын олборлолт гэх мэт өөр олон зүйл байгаа ч бидэнд бичих зай маш их байгаа тул сонсоорой! Хэрэв та эдгээр асуудлууд дээр ажиллах сонирхолтой байгаа бол Brightwave ажилд авна.

YouTube дээр үзээрэй

Бид Майкд дуртай. Камер Майкд дуртай. Манай үзэгчид Майкийг хайрладаг.

Тэмдэглэл харуулах

Цагийн тэмдэг

  • [00:00:00] Танилцуулга

  • [00:02:40] Сошиал медиагийн LLM-д туйлшралын нөлөө

  • [00:04:09] Гэрэлт долгион гэж юу вэ?

  • [00:05:13] Босоо хиймэл оюун ухааны гарааны компанид хэрхэн ажилд авах вэ

  • [00:09:34] 20B+ долларын эрсдэлээс хамгаалах сангууд Brightwave-г хэрхэн ашигладаг вэ

  • [00:11:23] Хэлний загвар дахь контекст хэмжээсийн хувьсал

  • [00:14:36] Хиймэл оюун ухаантай хооллохын эсрэг хураангуйлах

  • [00:18:26] Үнэнгүй талбарт санал хүсэлт цуглуулах

  • [00:20:49] Үнэлгээний стратеги ба захиалгат мэдээллийн багцын ач холбогдол

  • [00:23:43] Илүү олон компаниуд ажилчдынхаа шошгоны мэдээллийг хийх ёстой юу?

  • [00:25:32] Өндөр цаг хугацааны болон шаталсан өгөгдлийг олж авах

  • [00:30:05] Хувийн болон олон нийтийн мэдээллийн контекстийг мэддэг өдөөлт

  • [00:32:01] Мэдлэгийн график олборлох, бүтэцтэй мэдээлэл олж авах

  • [00:33:49] Нарийн тааруулах vs RAG

  • [00:36:16] Антропоморфизмын хэлний загварууд

  • [00:38:20] Brightwave яагаад хүснэгт хийдэггүй вэ?

  • [00:42:24] Бүрэн бие даасан эрсдэлээс хамгаалах сан байх уу?

  • [00:47:58] Нээлттэй эхийн төлөв AI

  • [00:53:53] Brightwave-д ажилд авах, багаа өргөжүүлэх

Транскрипт

Алессио [00:00:01]: Сайн байцгаана уу, Сансар огторгуйн далд нэвтрүүлэгт тавтай морил. Энэ бол Оршин суугаа түнш, CTO Алессио юм Decibel Partners , мөн надад өнөөдөр хамтран хөтлөгч байхгүй. Swyx Вена хотод ICLR-д Европт хөгжилдөж байгаа бөгөөд бид цоо шинэ студид байна. Хэрэв та YouTube дээр байгаа бол ханан дээр дууны самбар байхгүй хэвээр байгааг харж болно. Майк тэдгээрийг тавих гэж маш их хичээсэн боловч цавуу нь арай дэндүү хуучирсан байна. Тиймээс хэрэв та ямар нэгэн цуурай эсвэл үүнтэй төстэй зүйл сонсвол уучлаарай, гэхдээ бид чадах бүхнээ хийж байна. Өнөөдөр бидний анхны давтан зочин Майк Конвер байна. Одоо Databricks биш харин Brightwave-ийг үндэслэгч Майкийг тавтай морилно уу.

Майк [00:00:40]: Тийм шүү. Тиймээ. Эргээд ирсэндээ баяртай байна.

Алессио [00:00:42]: Бидний сүүлчийн анги шүтэн бишрэгчдийн дуртай анги байсан бөгөөд энэ нь ч мөн адил сайн байх болно гэж бодож байна. Тиймээс Майк шиг сонирхолтой яриа өрнүүлсэн хүмүүсийн ачаар подкаст маш их өссөн учраас эхний ангийг сонсоогүй хүмүүст зориулав.Та интернетийн шилдэг компаниудад ML-д олон жил зарцуулсан, Workday, Skipflag, LinkedIn гэх мэт зүйлс, хамгийн сүүлд Databricks-д Долли дээр ажилладаг нээлттэй эхийн том хэлний загвар өмсөгчдийн багийг удирдаж байсан. Одоо та санхүүгийн үйлчилгээний салбарт байдаг Brightwave хийж байна. Гэхдээ энэ бол шинэ зүйл биш, та бид хоёрыг анх Brightwave-ийн тухай ярихад би яагаад энэ залуу санхүүгийн үйлчилгээний компани хийж байгаа юм бэ?Дараа нь та өөрийнхөө арын дэвсгэрийг хараад, олон жилийн өмнөх шиг S&P 500 хувьцааны хөдөлгөөнийг урьдчилан таамагласан LinkedIn мэдээллийн талаар The Nature сэтгүүлд нийтлэл хийж байсан. Хүмүүс таныг үүнийг хийхэд хүргэсэн зарим нэг уясан элементүүд юу вэ?

Майк [00:01:36]: Тийм ээ, мэдээж. Тиймээ. Тиймээс миний докторын судалгааг DARPA санхүүжүүлсэн бөгөөд бид эдгээр мэдээллийн багцын олдоцын байгалийн түүхийн эхэн үед Twitter-ийн өгөгдөлд хандах боломжтой байсан бөгөөд энэ нь суртал ухуулга, ташаа мэдээллийн кампанит ажлын өргөн цар хүрээтэй бүтцэд анхаарлаа хандуулсан. LinkedIn, бид дэлхийн эдийн засгийн бүтцийн талаар гаригийн хэмжээний тодорхойлолттой байсан. Тиймээс юуны түрүүнд миний ажил нүүр хуудасны мэдээний сувагтай холбоотой байсан. Тиймээс та LinkedIn.com руу ороход манай машин сургалтын загваруудын нэгээс шинэчлэлтүүдийг харах болно.Гэхдээ үүнээс гадна би эдийн засгийн графикийн сорилтын нэг хэсэг болгон судалгааны ажилтан байсан бөгөөд 500 сая ажлын байрны шилжилтийг хөдөлмөрийн урсгалын сүлжээ болгон шаталсан байдлаар нэгтгэж, ирэх улиралд S&P 500 зах зээлийн зөрүүг урьдчилан таамаглах боломжтой гэдгийг харуулсан Nature Communications баримт бичигтэй байсан. . Мөн ажлын өдөр би санхүүгийн машин сургалтын захирал байсан. Байгууллагууд хэрхэн организм болохыг та харж эхэлдэг.Нягтлан бодогч, зах зээл гэх мэт нийгмийн шавжнууд ажлаа хэрхэн зохион байгуулж, нөөц, цаг хугацаа, анхаарлыг хаана хуваарилах талаар хамтын шийдвэр гаргадагтай адил мэдээллийн санд мэдээллийг кодлодог арга замыг би боддог. Ялангуяа Твиттер дэх ажлын явцад туйлшралтай холбоотой сүлжээний бүтэц нь олон бие даасан бүрэлдэхүүн хэсгүүдийн харилцан үйлчлэлээс органик байдлаар гарч ирэхийг бид харах болно.Миний мэргэжлийн ихэнх ажлын нэгэн адил бидний амьдрал орон нутгийн хязгаарлагдмал өнцгөөс харж чадахгүй системээр зохицуулагддаг гэсэн санаан дээр төвлөрч ирсэн. Мөн хүмүүс технологитой харьцахдаа тэдгээр системийн бүтцийг микроскоп эсвэл дурангаар ажиглах боломжийг бидэнд олгодог дижитал ул мөрийн өгөгдлийг бий болгодог.Ялангуяа санхүүгийн хувьд зах зээл бол хүмүүсийн оролцож буй хамтын шийдвэр гаргах үйл явцын эцсийн илрэл, тэмдэглэл гэж би боддог.

Алессио [00:03:21]: Зүгээр л скриптээс шууд гарч эхлэхийн тулд туйлшралыг бий болгож буй эдгээр харилцан үйлчлэлийн талаар та хэрхэн бодож байна вэ, тэд энэ өгөгдөл дээр бэлтгэгдсэн тул энэ нь өнөөгийн хэлний загварт хэрхэн тусгагдсан бэ? Загвар өмсөгчид ч гэсэн эдгээр зүйлсийг өөрсдөө авдаг гэж та бодож байна уу?

Майк [00:03:34]: Мэдээжийн хэрэг. Тиймээ. Тэд урьдчилан бэлтгэгдсэн тэр үед байсан шигээ дэлхийн шахалт гэж би бодож байна. Тэгээд би үнэхээр бодож байна. Та үүнийг Word2Vec-ээс бас харж байна. Эдгээр загваруудын бүтцэд кодлогдсон мэргэжлүүдтэй холбоотой жендэрийн талаар бидний хэрхэн боддог утгын утгыг л хэлэх гэсэн юм. Хэлний загварууд нь хүний итгэл үнэмшлийн илүү бүрэн илэрхийлэл гэж би бодож байна.

Алессио [00:04:01]: Тиймээс бид чамайг хамгийн сүүлд Долли барьж байхад чинь Датабрикст үлдээсэн. Brightwave-ийн талаар бага зэрэг ярина уу. Та анх удаагаа энэ тухай олон нийтэд ярьж байна.

Майк [00:04:09]: Тиймээ. Тиймээ. Мөн энэ нь таатай байна. Тиймээс Brightwave бол бидний хамтран ажиллах дуртай Decibel тэргүүтэй 6 сая долларын үнэтэй дугуй бөгөөд үүнд дэлхийн хамгийн том хедж сангуудын нэг болох Moonfire Ventures-ийн оролцоо багтсан болно. Хэрэв та идэвхтэй хөрөнгийн менежерийн ажлын талаар бодож байгаа бол хийх ажил бол буруу үнэтэй хөрөнгийг тодорхойлохын тулд өөр хэн ч хараагүй зах зээлийн талаар ямар нэг зүйлийг ойлгох явдал юм.Мөн энэ нь хүний оюун ухаан, анхаарал төвлөрөлд тийм ч тохиромжтой ажил биш гэж бид үзэж байна. Би эдгээр загваруудын хүний чадахаас илүүг мэдрэх чадвар руу дохиж байсан ч эдийн засаг, зах зээлийн бүтцийн талаар сэтгэх чадварыг өргөжүүлэх түүхэн онцгой боломж байгаа гэж бид бодож байна. Хүний түвшний ур чадварын үзүүлбэрээс та хүний сэтгэхүйн чадварыг олж авах нь тодорхойгүй байна.Үүгээр би бэлтгэлийн өмнөх корпусыг хэлж байна, гэхдээ дараа нь нарийн тааруулах корпусуудыг хэлж байна. Загвар бэлтгэлийн үеэр болж буй үзүүлбэрүүдийг та дуурайдаг гэж би бодож байна. Гэхдээ ажлын санах ойн үүднээс авч үзвэл эдгээр загварууд нь эдгээр системийн талаар сэтгэх чадвараараа хүмүүсийг давж гардаг.

Алессио [00:05:13]: Тэгээд та Брэндонтой хамт Brightwave-г эхлүүлсэн. Ямар түүх вэ? Та хоёр Workday-д хамт ажиллаж байсан, гэхдээ тэр бас үнэхээр хамааралтай туршлагатай.

Майк [00:05:20]: Тийм ээ. Тиймээс Брэндон Котара бол миний үүсгэн байгуулагч, CTO бөгөөд тэр бол маш онцгой хүн юм. Тиймээс тэрээр санхүүгийн чиглэлээр гүн гүнзгий мэдлэгтэй. Тэрээр холбооны зохицуулалттай дериватив солилцооны хуучин CTO байсан боловч түүний анхны гүнзгий суралцах патентыг 2018 онд өгсөн. Тиймээс тэрээр ертөнцийг хамардаг. Тэрээр санхүүгийн хэрэглээний өндөр зохицуулалттай орчинд номлолын чухал дэд бүтцийг бий болгож байсан туршлагатай боловч гүн гүнзгий суралцах тал болон ойлгоход маш эрт байсан.Тэрээр Workday-д удирдаж, олон зуун сая анкет, ажлын байрны жагсаалтад семантик хайлт хийх технологийн тэргүүлэгч байсан. Тиймээс саяхан мэдээлэл хайх, мэдрэлийн мэдээлэл олж авах аргуудтай маш удаан хугацаанд ажиллаж байна. Мөн онцгой хүн байсан бөгөөд бид үүнийг хийж байгаа хүмүүсийн тоонд түүнийг оруулсандаа баяртай байна.

Алессио [00:06:07]: Тиймээ. Бас агуу загасчин.

Майк [00:06:09]: Тиймээ. Маш авьяастай.

Алессио [00:06:11]: Энэ үргэлж чухал.

Майк [00:06:12]: Маш их урам зоригтой.

Алессио [00:06:13]: Дараа нь танд олон гайхалтай инженерүүд байгаа, тэгвэл танд Goldman Sachs-д ажиллаж байсан JP шиг хүмүүс байгаа. Тийм ээ. Хүмүүс энэ илүү босоо талбарт баг бүрдүүлэх талаар хэрхэн бодох ёстой вэ? Мэдээжийн хэрэг та ML-ийн гүн гүнзгий мэдлэгтэй, гэхдээ танд салбарын зарим тал хэрэгтэй. Зөв тэнцвэр юу вэ?

Майк [00:06:28]: Миний бодлоор 2024 онд хиймэл оюун ухаанд босоо шийдлүүдийг бий болгоход сонирхолтой байдаг нэг зүйл бол түүхэндээ хиймэл оюун ухааны чадавхи хэрэгтэй байгаа тул загварууд хэрхэн ажилладаг, дараа нь тэдгээрийг хэрхэн яаж ажиллуулах талаар ойлгох хэрэгтэй. Хүний өмнөөс сэтгэж чадах системийн ажлыг хамтдаа гүйцэтгэдэг бусад төрлийн машин сургалтын дэд системүүдтэй харилцах. Тэнд бас материаллаг системийн инженерийн асуудлууд байдаг.Тиймээс би үүнийг хэнтэй холбон тайлбарлаж байгааг би харсан, гэхдээ бүх уламжлалт програм хангамжийн компаниуд хиймэл оюун ухааны авъяаслаг хүмүүсийг ажилд авахыг оролдож байгаа бөгөөд бүх хиймэл оюун ухааны компаниуд системийн инженерүүдийг ажилд авахыг оролдож байгаа бөгөөд энэ нь 100% тийм юм. Эдгээр системийг урьдчилан таамаглах боломжтой, давтагдахуйц, ажиглагдаж болохуйц байдлаар авч явах нь арга зүйн олон сорилтод адилхан хэцүү байдаг.Харин дараа нь та хууль ч бай, анагаах ухаан ч бай, төрийн бодлого ч бай, манай санхүүгийн хувьд ч бай, Grammarly гэх мэт хамгийн үнэ цэнэтэй зүйл бол ихэнх хүмүүст үнэ цэнэтэй ажлын бүтээгдэхүүн үйлдвэрлэдэг компанийн сайн жишээ гэж би бодож байна. Санхүүгийн хувьд ойлголтын шинж чанар, гүн гүнзгий ойлголт, ойлголтын зөвшилцөлгүй байх нь үнэхээр гүн гүнзгий домэйн туршлага шаарддаг.Бирж ажиллуулж байсан ч гэсэн бид үүнийг босгохоор очиход олон хүн "Чи яагаад эрсдэлийн сан байгуулж болохгүй гэж?" Мөн энэ асуудалд хиймэл оюун ухаантай холбоогүй олон, олон тусдаа ур чадварууд байдаг. Тиймээс бид системийн шинж чанарыг үнэлж, удирдахад тусалж чадах санхүүгийн салбарын мэргэжилтнүүдийг авчирсан.

Алессио [00:07:59]: Тэгэхээр энэ бол баг. Систем яг юу хийдэг вэ? Brightwave бүтээгдэхүүн юу вэ?

Майк [00:08:03]: Тиймээ. Энэ нь олон, олон зүйлийг хийдэг, гэхдээ мэргэжлийн хүмүүсийг санхүүжүүлэх бодлын түншийн үүрэг гүйцэтгэдэг. Тэгэхээр та Brightwave-аас NVIDIA-ийн GPU зах зээл дэх байр суурь газрын ховор металлын хомсдолд хэрхэн нөлөөлж байна вэ гэх мэт асуултыг асууж болно.Мөн энэ нь хөрөнгө оруулалтын шийдвэр гаргах эсвэл A100 карт дээрх экспортын хяналтын хариуд Хятад улс газрын ховор металл биш герман, галли шилжүүлэх тусгай зөвшөөрөл олгогчдыг бий болгосон гэсэн диссертацийг боловсруулахад сэдэвчилсэн хувь нэмэр оруулагчид гэж тодорхойлох болно. хагас дамжуулагч үйлдвэрлэлийн орцууд бөгөөд Африк, Өмнөд Америкийн уул уурхайн үйл ажиллагаанд тавих хяналтаа өргөжүүлсэн. Тиймээс хэрэв та бодож байгаа бол бид 20 тэрбум долларын кроссовер хедж сантай болохыг харж байна.Тэдний хувьцааны баг дипломын ажилд гүнзгий орохын тулд энэ хэрэгслийг ашигладаг. Тиймээс би үүнийг компаниудын нэмүү өртгийн сүлжээ эсвэл нийлүүлэлтийн сүлжээнд олон алхам хийхтэй адил тайлбарлаж байсан. Баялгийн менежментийн мэргэжилтнүүд маргааш миний мэдэхгүй зүйлийг та мэдэх үү? Таныг миний санхүүгийн сайн сайхан байдлын даамал гэдэгт итгэж болох уу? Brightwave-г ашиглан хөрөнгө оруулагчдын харилцааны багууд ажиллаж байгааг бид харж байна.Та зүгээр л санхүүгийн чиглэлээр ажилладаг хүний мэдэж байх ёстой хамрах хүрээний орчлон ертөнц, мэдүүлэг, хуулбарыг урж, зах зээлийн талаар маш өргөн хүрээтэй харах чадварын талаар боддог. Энэ нь тухайн хүн хэр хурдан уншиж, зүгээр л уншаад зогсохгүй хоосон хуудасны асуудлыг шийдэх замаар маш хязгаарлагдмал хувь хэмжээ юм. олох хүчин зүйлийн талаар юу хэлэхээ мэдэх.

Алессио [00:09:34]: Тэгэхээр та 20 тэрбум долларын эрсдэлийн сангийн талаар дурдсан. AUM-ийн хувьд таны хамтран ажилладаг үйлчлүүлэгчдийн хүрээ ямар байдаг вэ?

Майк [00:09:41]: Манайд бүх төрлийн үйлчлүүлэгчид байгаа гэсэн үг. Тэгэхээр 500 сая долларын эзэмшигчээс эхлээд хөрөнгийн төвийн удирдлагад хэдэн арван, хэдэн арван тэрбум долларын хөрөнгөтэй байгууллагууд хүртэл РИА-г ажиллуулж байсан.

Алессио [00:09:52]: Та хамтран ажиллаж байгаа үйлчлүүлэгчдийнхээ талаар өөр юу хуваалцах вэ?

Майк [00:09:55]: Тийм ээ. Тиймээс бид зах зээлээс бидний хүлээлтээс хол давсан зүтгүүрийг харсан. Та ямар ч асуултыг авч, тухайн сэдвээр хатуу, хэрэгжүүлэх боломжтой санхүүгийн дүн шинжилгээ хийж чадах системтэй хэн нэгнийг суулгаж, бүтээгдэхүүн нь өөрөө зарагддаг. Тиймээс бид Brightwave-ийг ашиглаж буй олон, олон янзын сан, пүүс, стратегийг харж байна. Тэгэхээр танд 10 хүн эзэмшигч бүртгэлтэй хөрөнгө оруулалтын зөвлөх, сонгодог баялгийн менежер, AUM-д 500 сая доллар байгаа гэсэн үг.Бидэнд хөрөнгийн төвийн удирдлагад хэдэн арван, хэдэн арван тэрбум долларын хөрөнгө оруулалттай кроссовер хедж сангууд байдаг. Тэгэхээр энэ нь илүү их хөрөнгө оруулалтын судалгаа юм, харин баялгийн менежерүүд үүнийг ашиглан үйлчлүүлэгчдийн харилцаанд орж, маш сайн бэлтгэгдсэн байж болно. Бид хөрөнгө оруулагчдын харилцааны багийг харж байна.Шинэ зах зээл, шинэ сэдвүүдийг маш хурдан ойлгох шаардлагатай корпорацийн стратегийн төрлүүд, хөрөнгө оруулалтын аливаа сэдэв эсвэл стратегийн талаар үзэл бодлыг маш хурдан боловсруулах чадвар нь олон, олон төрлийн хүмүүст өргөн хэрэглэгддэг болохыг бид харж байна.

Алессио [00:10:56]: Тиймээ. Би хэрэглэгч учраас бүтээгдэхүүнээ өөрөө зарж байгааг гэрчилж чадна. Техникийн зарим сорилтууд руу үсрэн орж, үүний цаана ажиллацгаая, учир нь маш олон зүйл байгаа. Миний хэлсэнчлэн та жил орчмын өмнө подкаст дээр байсан. Тийм ээ. Та Долли-г анхны нээлттэй эхийн нэг байсан Databricks-аас гаргасан. Тийм ээ. Долли контекст хэмжээтэй 1024 жетон жинтэй байсан. Өнөөдөр би мянга мянган жетон загвар өмсөгчийг ашиглах боломжгүй гэж бодож байна.

Майк [00:11:23]: Та ийм их зүйлийг алдаж байна.

Алессио [00:11:24]: Тийм ээ, яг. Та компаниа байгуулахдаа контекст хэмжээсийн хувьслын талаар хэрхэн бодож байсан бэ, өнөөдөр бид хаана байна вэ? Хүмүүс ямар зүйлд алдаа гаргадаг вэ? Тэнд тайлбар байна уу?

Майк [00:11:34]: Мэдээж. Бид системийн системд маш их ханддаг. Би компанийг байгуулахдаа том контекст цонхнууд синтезтэй холбоотой асуудлыг ерөнхийд нь шийдвэрлэх чадвартай гэдэгт илүү их итгэдэг байсан гэж би боддог.Үнэн хэрэгтээ, хэрэв та анхаарлаа төвлөрүүлэх механизм болон энэ нь хол зайд жетонуудын ижил төстэй байдлыг тооцоолох арга замын талаар бодох юм бол би зарим түвшинд үүнийг өргөжүүлэх тусам та нэгэн зэрэг ойлгож, дүгнэлт хийх чадвартай болно гэж би итгэж байсан. өргөн уудам, ялгаатай агуулгатай биетүүд. Энэ нь эмпирик байдлаар тийм биш юм шиг санагдаж байна. Жишээлбэл, та болон энэ нь хэн ч оролдож болох зүйл бол өвсөнд зүү гэх мэт маш урт баримт бичгийг аваарай.Мэдээжийн хэрэг, бид тодорхой баримт илрүүлэх үйл ажиллагааны талаар мэдээлэл олж авах боломжтой гэж би бодож байна. Хэрэв та бүхэл бүтэн номын тухай номын тайлан, бүлэг тус бүрийн хураангуйг бичвэл эдгээр загваруудын гаралтын тодорхой урт байдаг. Энэ нь ойролцоогоор 1200 жетон байна гэж бодъё. Арилжааны LLM эсвэл LLAMA-ийн аль нэгийг нь 5000 жетон бичихэд маш хэцүү байдаг. Хэрэв та үүнийг ямар болзолт магадлал гэж бодож байна вэ?Энэ нь дараагийн дүгнэлтийн үе шат болохоос өмнө контекст цонхонд илүү олон жетон байх тусам улам өндөр болно. Тиймээс хэрэв надад ямар нэг зүйл хэлэх 1000 үг байгаа бол маш том агуулгыг үнэлэх үед тодорхой байдлын түвшин, гүн гүнзгий байдал нь дэд гарцын талаар тодорхой зүйл хэлэхээс хамаагүй бага байх болно. Хэрэв та LinkedIn эсвэл Facebook зэрэг хэрэглэгчийн интернетийн компаниудтай параллель зурах талаар бодож байгаа бол үүнтэй холбоотой олон янзын дэд системүүд байдаг.Тиймээс Facebook-ийн жишээг авч үзье. Фэйсбүүкт үүнийг таны профайлаас, таны таамагласан сонирхлоос харж болно гэсэн үг юм. Таныг юунд санаа тавьдаг гэж үзэж байна вэ? Эдгээр үнэлгээ нь таныг ямар хүн бэ гэдгийг дүгнэх тэжээлтэй холбоотой алгоритмуудад бараг гарцаагүй ордог, би танд сноубордын контент үзүүлэх гэж байна уу? Би танд агаарын тээврийн агуулгыг үзүүлэх гэж байна. Энэ нь машин сургалтын өөр системд тэжээгддэг нэг машин сургалтын системийн үр дүн юм.Орчин үеийн өөдөс, агент дээр суурилсан үндэслэлийн хувьд энэ нь тодорхой ажлуудыг сайн гүйцэтгэдэг дэд системийг бий болгох явдал юм гэж би бодож байна. Том баримт бичгүүдийг илүү олон төрлийн атомын сэтгэхүйн нэгж болгон задлахыг шийдэх асуудал маш чухал хэвээр байна гэж би бодож байна. Одоо энэ нь урьдчилсан сургалт эсвэл зааварчилгааг тохируулах замаар шийдвэрлэх боломжтой загвар мөн үү гэдэг нь нээлттэй асуулт юм. Сургалтын үеэр нийлэгжүүлэхэд чиглэсэн жагсаал цуглаан хийж болох уу?Одоо энэ асуудал илүү бат бөх шийдэгдэж байна, учир нь синтез нь агуу Гэтсбигийн дараагийн үгнээс тэс өөр юм. Миний бодлоор эмпирик байдлаар та бүх ХЗХ-ны мэдүүлгийг сая токен контекст цонхонд хаяж, нөгөө талаас хэрэгтэй гүн гүнзгий ойлголттой болно.

Алессио [00:14:36]: Тиймээ. Энэ бол таны хийж байгаа зүйлийн гол ялгаа гэж би бодож байна. Энэ нь нэгтгэн дүгнэх тухай биш юм. Энэ нь өөр өөр санаа, бодлын сэдвүүдийг гаргаж ирэх тухай юм.

Майк [00:14:47]: Тийм ээ. Хэрэв би GLP-1 нь хүний эмнэлзүйн туршилтын сөрөг үр дагаврыг тодорхойлж, контекстэд оруулах гэж байгаа гэж бодож байгаа бол, эсвэл жишээлбэл, жилийн дараа Ozempic-ийг дагаж мөрдөх түвшин ердөө 35%, энэ нь ямар үр дагавартай болохыг та мэднэ. Тэгэхээр мэдээлэл хайх бүрэлдэхүүн хэсэг байна. Дараа нь надад зөвхөн нэг хураангуйг танилцуулаад зогсохгүй, энд баримтууд байна, гэхдээ энэ нь юу гэсэн үг вэ? Энэ нь миний ертөнцийг үзэх үзэл, миний сангийн стратегид хэрхэн нийцэж байна вэ?Ерөнхийдөө би энэ санааг маш уран яруу илэрхийлсэн гэж би бодож байна, энэ нь миний ойлголт биш, харин хэлний загварууд бөгөөд үүнийг хэн хэлснийг мэдэхэд тусална уу. Та танил байж магадгүй, гэхдээ хэлний загварууд нь шинэ мэдлэгийг бий болгох хэрэгсэл биш юм. Тэд надад шинэ мэдлэг бий болгоход туслах хэрэгсэл юм. Тэд өөрсдөө үүнийг хийдэггүй юм шиг. Энэ нь одоогоор энэ талаар бодох нь зөв арга гэж би бодож байна.

Алессио [00:15:36]: Тиймээ. Би Хадлан дахь зүү нь энэ ажилд үнэхээр хор хөнөөлтэй гэсэн жиргээг уншсан, учир нь одоо загвар өмсөгч бүх зүйлийг эргэн санахад хэт төвлөрч, өө, энэ хамаагүй гэж хэлэх шиг болсон. Зарим зүйлийг үл тоомсорлохтой адил, хэрэв та S1-ийн мэдүүлгийн талаар бодох юм бол 85% нь уурын зуухтай адил юм. Өмнөх гүйцэтгэл нь ирээдүйн гүйцэтгэлийг баталгаажуулдаггүй юм шиг. Ирээдүйд компани ашиг олох боломжгүй байж магадгүй юм шиг, бла, бла, бла.Энэ бүх зүйл, тэд үргэлж дахин гарч ирдэг.

Майк [00:16:02]: COVID ба валютын хэлбэлзэл.

Алессио [00:16:03]: Тийм ээ, тийм, тийм. Яда, яда, яда. Бидэнд асар их ажиллах хүч бий гэх мэт. Эдгээрийг мартахын тулд та загварын түвшинд ямар нэгэн ажил хийх шаардлагатай байсан уу? Эсвэл үүнийг дахин нэгтгэхээс илүү жижиг асуудал гэдгийг олж мэдсэн үү?

Майк [00:16:19]: Мэдээжийн хэрэг. Эдгээр баримт бичгийн бүтцийн талаар домэйн туршлагатай байх нь энд байна гэж би бодож байна. Тиймээс хэрэв та энэ заалт эсвэл хэллэгийн зорилго юу болохыг ойлгохын тулд ашиглаж болох өөр өөр стратегиудыг харвал, дараа нь тухайн өвөрмөц баримт бичгийн семантик дээр үндэслэсэн хэрэглэгчийн асуулгад хамгийн их хамааралтай мэдээллийг олж авахын тулд олж авах хугацаандаа үнэхээр сонгомол байх болно. Энэ нь зөвхөн тухайн корпус дээрх гүйдэг цонх биш гэж би бодож байна.

Алессио [00:16:45]: Тэгээд үүний эсрэг тал нь бодит байдал гэдэг нь ойлгомжтой. Та тэнд байсан зүйлсийг мартахыг хүсэхгүй байна. Та үүнийг яаж шийдвэрлэх вэ?

Майк [00:16:52]: Тийм ээ, би мэдээжийн хэрэг, энэ бол маш гүн гүнзгий асуудал юм. Мөн би бидний ашигладаг тодорхой төрлийн аргуудад бага зэрэг болгоомжтой хандана гэж бодож байна. Энэ төрлийн олон удаа материалыг дамжуулж, таны хэлж байгаа зүйл үнэн гэдэгт та хэр итгэлтэй байна вэ? Мөн та олон янзын загвараас үе дамжсан үеийг авч, харьцуулж, харьцуулж, харьцуулж, энэ хоёулаа ижил дүгнэлтэд хүрч байна уу? Та үүнийг санал хураалтын асуудал мэт авч үзэж болно. Бид өөрсдийн загвар өмсөгчдийг үнэлэхийн тулд сургадаг.Та үүнийг дагалдах хэрэгсэл гэж бодож болно. Үүнийг үндсэн эх сурвалжууд дэмжиж байна уу? Хэрэв та энэ асуудалд арга зүйн арга барилтай гэж бодож байна, гэхдээ танд бас бүтээгдэхүүний боломж бий. Бардын багийн Бард дээр гайхалтай блог нийтлэл байсан. Энэ нь загвараар удирдуулсан бүтээгдэхүүний шинэлэг зүйл байсан бөгөөд энэ нь загвараас ажлыг дахин шалгахыг хүсэх боломжийг олгодог. Тиймээс хэрэв танд гэнэтийн олдвор байгаа бол бид хэрэглэгчдэд ажлыг давхар шалгахын тулд илүү их тооцоолол зарцуулахыг зөвшөөрч болно.Мөн та алдааг тэсвэрлэх чадвартай бүтээгдэхүүний туршлагыг бий болгохыг хүсч байна гэж би бодож байна. Мөн хий үзэгдэл ба бүтээлч байдлын хоорондох ялгаа нь бүрхэг байна. Та хэзээ нэгэн цагт Next Token Prediction-тэй хэлний загваруудыг бодит буруу ташаа мэдээлэл агуулаагүй байх баталгаатай алдагдлын функц гэж үздэг үү? Энэ нь тодорхойгүй байна. Одоо код үүсгэгчийг дуудаж, дараа нь аюулгүйгээр гүйцэтгэх боломжтой болсон нь эдгээр асуудлуудын заримыг, ялангуяа тоон үндэслэлээр шийдвэрлэхэд тусалдаг.Тийм байж магадгүй, гэхдээ яг одоо та эдгээр зүйл алдаатай гэсэн бодит байдалтай амьдрах боломжийг олгох бүтээгдэхүүний нөөцтэй байх хэрэгтэй гэж би бодож байна.

Алессио [00:18:26]: Бид RLHF 201 ангиа хийсэн, зүгээр л өөр өөр аргуудын талаар ярилцсан. Бүтээгдэхүүний зөв байсан ч богино хугацаанд тодорхойгүй байж магадгүй ийм зүйлийн талаар та яаж бодож байна вэ? Энэ нь зөв байж болох ч хожим нь нотлохгүй байж магадгүй юм. Тиймээс хэрэглэгчид үүнийг буруу гэж хэлэхэд хэцүү байдаг, учир нь үнэндээ энэ нь буруу байж магадгүй, та үүнийг буруу гэж бодож байна. Хөрөнгө оруулалт шиг, ийм зүйл дээр бууж ирдэг. Зарим хүмүүсийн буруу. Зарим хүмүүс зөв байдаг.Хэрэглэгчийн санал хүсэлтийг холимогт оруулахын тулд танд хэрэгтэй зарим бүтээгдэхүүний онцлог, үүнтэй төстэй зүйлийн талаар та хэрхэн бодож байна вэ, магадгүй та өнөөдөр үүнд хэрхэн хандаж, урт хугацаанд энэ талаар хэрхэн бодож байна вэ?

Майк [00:19:01]: Тийм ээ, би таны загварын талаархи санаа бодлыг батлах боломжгүй мэдэгдэл хийж магадгүй гэж би бодож байна. Энэ нь тийм байж магадгүй юм. Эндээс л бид үүнийг бодлын түнш гэж боддог шалтгаан нь хүмүүс дижитал хэлбэрт шилжүүлээгүй мэдээлэлд үргэлж хүртээмжтэй байх болно гэж би бодож байна. Тиймээс санхүүгийн хувьд, ялангуяа шинжээчдийн дуудлагын сүлжээ, багцын менежерийн байж болох тодорхойгүй хөрөнгө оруулалтын дипломын талаар та харж байна. Бид зүгээр л биотехнологи хийдэггүй.Эсвэл жишээ авах нь хичнээн тааламжгүй байдгаас болж Эли Лилли үнэхээр ил гарсан гэж бид бодож байна. Зөв. Эдгээр нь ертөнцийн талаарх итгэл үнэмшил боловч яг одоо хуурамчаар үйлдэх боломжгүй байж магадгүй юм. Тиймээс та дахин хэрэглэгчийн вэб тоглоомын номноос хуудас авч, хувийн тохиргооны талаар бодож болно гэж бодож байна. Тиймээс энэ нь хүнийг бодит ажил биш гэж үзэж буй бүх зүйлээ илэрхийлэхэд хүргэж байна.Netflix танаас ямар төрлийн кинонд дуртайг тайлбарлахыг шаарддаггүй бөгөөд тэд танд санал өгөх сонголтыг өгдөг, гэхдээ хэн ч үүнийг хийдэггүй. Тиймээс та хүмүүсийн илчлэгдсэн сонголтыг ажиглаж байгаа гэж би бодож байна. Тэгэхээр манай системийн нэг чадвар бол Brightwave-ийн уншиж, үнэлсэн бүх зүйлийг харгалзан үзэхэд, санхүүгийн нэгдсэн дүн шинжилгээ хийхтэй адил энэ сэдвийг судалж буй хүний дараагийн асуух ёстой байгалийн асуултууд юу вэ?Мөн та энэхүү сэтгэлгээний гинжин хэлхээ, мөрдөн байцаалтын үйл явц гүнзгийрч, хэрэглэгч энэ системийн анхаарлыг хэрхэн чиглүүлж байгаа талаар бодож болно, тэд юунд санаа тавьдаг, юунд итгэдэг, ямар төрлийн зүйл чухал байдаг талаарх мэдээллийг илчилдэг. Тиймээс хувь хүний түвшинд, гэхдээ дараа нь сан болон пүүсийн түвшинд та ертөнцийн талаарх итгэл үнэмшлийнхээ далд төлөөлөл мэт хөгжиж чадна, ингэснээр та зүгээр л хэн нэгэнд бүх зүйлийг бичихэд хэзээ ч хүргэхгүй.

Алессио [00:20:49]: Энэ нь бидний бусад дуртай сэдвүүдийн нэг болох цахим шуудантай хэрхэн холбогдож байна вэ? Бидэнд Дасан зохицохоос Дэвид Луан байсан бөгөөд үйлчлүүлэгчид нь жишиг үзүүлэлт дээр ажилладаггүй, бизнесийн үр дүн дээр ажилладаг тул жишиг үзүүлэлтүүдэд санаа тавьдаггүй гэж тэр хэлэв. Та үүнийг хэрхэн бодож байна вэ? Магадгүй та шинэ компани байгуулахдаа жишиг үзүүлэлт дээр анхаарлаа төвлөрүүлэх цаг нь хэзээ вэ, магадгүй шошго ашиглан өөрийн үнэлгээнд шилжих дуртай байх цаг нь болсон уу, үгүй юу?

Майк [00:21:14]: Бид олон янзын дэд системийг үнэлэхийн тулд LLM-ийн хяналтыг бага зэрэг ашигладаг. Мөн бид үүсгэгч бүтээгдэхүүний чанарыг үнэлэхийн тулд хүний тэмдэглэгээнд мөнгө төлдөг шалтгаануудын нэг гэж би бодож байна, энэ нь үргэлж жишиг стандарт байдаг гэж би бодож байна, гэхдээ бид эхлээд LLM-ийн хяналтыг нарийн тохируулах цаг эсвэл бүр үүсгэгч биш дэд системүүдийн хувьд хийх арга зам болгон авч үздэг. Системийн чанар юу вэ?Бид өндөр чанартай домэйн мэргэжилтнүүдийн тэмдэглэгээний жижиг корпусыг бий болгож, үүнийг LLM хяналт эсвэл зүгээр л эвристиктэй харьцуулах болно гэж би бодож байна. Таны хийж чадах энгийн зүйл бол энэ бол бидний ашигладаггүй, гэхдээ жишээ болгон үндсэн эх сурвалжид байхгүй бүхэл тоо эсвэл ямар ч тоо үүсгэхгүй байх явдал юм.Хэрэв тэд өөдөс хийж байгаа бол та зүгээр л тийм биш тоонуудыг нэрлэж чадахгүй гэж хэлж болно, энэ нь маш хүнд гар юм, гэхдээ та хүний үнэлгээчний тайлбарыг аваад дараа нь үүнийг харьцуулж болно. Сноркел олон төрлийн сул хяналтын өгөгдлийн багц нь танд аль нэгээс нь хамаагүй илүүг өгч чаддаг шиг ижил төстэй үзэл бодолтой байдаг. Тиймээс та аливаа үнэлгээний чанарыг хүний үүсгэсэн жишиг үзүүлэлттэй харьцуулахыг хүсч байна гэж би бодож байна.Гэхдээ эцсийн эцэст, ялангуяа нарийн ширийн зүйлсийн хувьд энэ трансцендент яруу найраг мөн үү, үүнээс гарах арга замыг олон удаа сонгох ямар ч боломжгүй юм, та мэдэх үү? Тэгээд үнэхээр миний бодлоор зарим томоохон LLM компаниудын хувьд маш олон нисдэг дугуйнууд нь арга зүйн шинж чанартай байдаг, гэхдээ энэ нь зүгээр л өгөгдөл үүсгэх явдал юм.Мөн та краудсорсингийн ажил хийсэн хэн бүхэнд энэ нь Google-ийн хайлтын чанарын үнэлгээний удирдамжийг хардаг шиг өндөр ур чадвартай хүний тэмдэглэгээнд ч хамаатай гэж бодож байна. Google хайлтын өндөр чанартай үр дүн гэж юу вэ? Мөн энэ нь хүний түвшний хүмүүст рубрикийг хуулбарлан дагаж мөрдөхөд маш хэцүү байдаг. Тэгээд тэр хөдөлгөөнийг зохион байгуулах үйл явц чинь юу вэ?Та өндөр чанартай ойлголт гэж юу болохыг хэрхэн илэрхийлэх вэ? Миний бодлоор маш олон ажил энд л тохиолддог бөгөөд энэ нь эцсийн арга зам юм. Хамгийн тохиромжтой нь та бүх зүйлийг автоматжуулахыг хүсч байгаа ч эцсийн дүндээ хамгийн сонирхолтой асуудал бол ялангуяа автоматжуулах боломжгүй асуудлууд юм.

Алессио [00:23:43]: Таны Databricks-д хийсэн нэг зүйл бол таны тусгайлан хийсэн зүйл биш, харин тэндхийн баг Долли 15К өгөгдлийн багц шиг байсан. Хүмүүс энэ мэдээллийн үнэ цэнийг буруу үнэлдэг гэж та хэлсэн. Яагаад өөр ямар ч компани энэ ажилчдын удирддаг мэдээллийн багцыг бий болгохтой адил зүйл хийгээгүй юм бэ? Эдгээр Голдман Саксуудын заримыг та төсөөлж байна уу, тэд тэнд мянга, мянган хүмүүстэй байдаг. Тэд өөр өөр нууцлалтай бөгөөд ямар шаардлага тавьдаггүй нь ойлгомжтой. Илүү олон компани үүнийг хийх ёстой гэж та бодож байна уу?Энэ нь ямар үнэ цэнэтэй болохыг буруу ойлгосон гэж та бодож байна уу?

Майк [00:24:15]: Тиймээс би Databricks бол маш онцгой компани бөгөөд маш зоригтой хүмүүсээр удирдуулсан гэж бодож байна, би үүнийг нэг үг гэж бодож байна. Яг л үүнийг тээвэрлэе. Мөн энэ нь ер бусын зүйл гэж би бодож байна. Мөн энэ нь ихэнх компаниуд ийм зүйл үйлдвэрлэхийн тулд хүчин чармайлт гаргавал үүнийг эзэмшиж, цорын ганц компани байх нь өрсөлдөөний давуу тал гэдгийг хүлээн зөвшөөрдөг.Датабрикс ийм төрлийн эх сурвалжид хандах нь илүү олон хүмүүст ашиг тусаа өгдөг нь ер бусын байр суурьтай байгаа гэж би бодож байна, гэхдээ та бас цар хүрээг харсан, тэд үүнийг гаргаагүй байх гэж бодож байна.

Алессио [00:24:49]: Тийм ээ. Тэд хүмүүсээс маш их мөнгө авдаг учраас ийм зүйл байгаа гэдэгт би итгэлтэй байна.

Майк [00:24:51]: Тэд GSM 8K-ийн өөр хувилбарыг бүтээсэн, би үүнийг ингэж хэлсэн гэдэгт итгэж байна. Тэд ч бас үүнийг гаргахгүй байгаа байх.

Алессио [00:25:01]: Сонирхолтой байна, учир нь би маш олон аж ахуйн нэгжтэй ярилцсан бөгөөд тэдний олонх нь, би Scale-д маш их мөнгө зарцуулсан. Тэгээд би яагаад үүнийг хийхгүй байгаа юм бэ? Тэгээд тэд юу гэж?

Майк [00:25:11]: Тэгэхээр энэ нь хүний үйл явцын зохион байгуулалтад дахин орсон гэж би бодож байна. Ийм сургалтын мэдээллийн багц эсвэл үнэлгээний корпусыг бий болгохын тулд нэг цул түлхэлт хийх нь нэг хэрэг юм. Гэхдээ давтагдах үйл явцтай байх нь өөр хэрэг гэж би бодож байна. Мөн эдгээрийн ихэнх нь хүмүүсийн менежментийн ажил шиг үнэхээр тачаангуй биш юм. Тэгэхээр энэ нь магадгүй үүний том хэсэг байх.

Алессио [00:25:32]: Тэгэхээр бидэнд хиймэл оюун ухааны хүрээний эдгээр дөрвөн дайн, өгөгдлийн чанарын дайн байгаа, бид одоо бага зэрэг хөндсөн. RAG-ийн тухайд, энэ нь бусад тулааны талбар, RAG болон контекст хэмжээ, эдгээр бүх өөр өөр зүйлтэй адил юм. Та хэд хэдэн өөр зүйлтэй орон зайд ажилладаг. Нэг, улирал бүр шинэ өгөгдөл байдаг бөгөөд шинэ өгөгдөл нь ихэвчлэн өмнөх өгөгдлөөс давж гардаг тул өгөгдлийн түр зуурын байдал чухал юм. Тиймээс та зүгээр л семантик хайлт хийх дуртай байж болохгүй бөгөөд хамгийн сүүлийнхийг нь авна гэж найдаж байна.Дараа нь танд токены түвшинд маш чухал маш нарийн бүтэцтэй тоо байгаа нь ойлгомжтой. 50% нийт ашиг, 30% нийт ашиг нь маш өөр, гэхдээ энэ байгууллага тийм ч ялгаатай биш гэдгийг та мэднэ. Мэдээжийн хэрэг, энэ бүхнийг хуваалцах боломжтой хэмжээгээрээ зохицуулах системийг хэрхэн бий болгох талаар ямар нэгэн бодол байна уу?

Майк [00:26:19]: Тийм ээ, үнэхээр. Тиймээс би үүнийг дахин бодож байна, нээлттэй, нээлттэй эцсийн үндэслэлтэй байхын оронд бидний арга барил бол асуудлыг тодорхой зорилготой олон янзын дэд систем болгон задлах явдал юм. Тиймээс би түр зуурын байдал бол гайхалтай жишээ юм. Цаг хугацааны тухай бодохдоо хуанли удирдах бүх номын санг хар л даа. Цаг хугацаа бол хэл, математикийн огтлолцол дээр байдаг.Энэ бол цаг хугацааны явцад өөрчлөгдөж буй статистикийн өндөр чанартай өгүүлэмжийн давхаргыг олж авахын тулд техникийн тодорхой арга хэмжээ авахгүйгээр PE-ийн үржвэр хэрхэн нэмэгдэж, буурч байгааг тодорхойлсон газруудын нэг юм. Энэ нь хэрэглэгчийн асуулгын цаг хугацаа, цаг хугацааны зорилгыг мэддэг, тийм ээ?Тиймээс, хэрэв би шуурхай мэдээний талаар ямар нэг зүйл асууж байгаа бол энэ нь ХНС-ын хүүгийн бодлогод өнгөрсөн 18 сарын сэдэвчилсэн тайланг хайж байгаагаас тэс өөр байх болно. Хэрэв би түр зуурын болон бусад чанарын мета өгөгдлийн давхаргагүйгээр хамгийн ойрын хөршийг хайж олох юм бол та зүгээр л нэг төрлийн баримттай байх ёстой.Энэ нь тус болохгүй гэж би бодож байна, учир нь эдгээр системүүдийн хамгийн муу бүтэлгүйтлийн төлөв нь тэдгээр нь үнэмшилтэй байдлаар буруу юм. Тиймээс, ядаж одоо та баримт бичгийн семантикийг мэддэг, эсвэл асуултын цаад зорилгын утга учрыг мэддэг дэд системтэй байх ёстой гэж бодож байна, дараа нь олон үнэлгээний үе шаттай.Үүсгэсэн үр дүнг гаргасны дараа бид үүнийг мэдэх олон янзын арга замыг үнэлдэг, энэ нь олж авсан агуулгын төрлийг харгалзан үзвэл бодит мэдэгдэл мөн үү?

Алессио [00:28:10]: Тийм ээ. Хүмүүс санхүүгийн үйлчилгээний талаар боддог, хувийн нууц, нууцлалын талаар боддог гэж би бодож байна. Баримт бичгийг хуваалцах гэх мэтээр үйлчлүүлэгчийн сонирхол юутай адил вэ, хэрэв танд байхгүй бол ямар их хэлцэл тасалддаг вэ? Та энэ талаар болон бүтээгдэхүүний архитектурын талаар хэрхэн бодож байгаагаа хуваалцахыг хүсч байгаа эсэхийг мэдэхгүй байна.

Майк [00:28:29]: Тийм ээ, тиймээс манай үйлчлүүлэгчдэд өндөр итгэл төрүүлж байгаа нэг зүйл бол Брэндон холбооны зохицуулалттай деривативын бирж ажиллуулж байсан явдал юм. Эдгээр өндөр зохицуулалттай орчинд туршлага хуримтлуулсан, үүнээс гадна би Ажлын өдөр санхүүгийн бүтээгдэхүүнтэй ажиллаж байсан бөгөөд тодорхой мэдээлэл өгөхгүйгээр энэ нь онцгой нууц мэдээлэл бөгөөд танд олон түрээслэгч байгаа бөгөөд та энэ материалын нярав байх зөв хандлагыг баримтлах нь чухал юм.Тиймээс бид анхнаасаа тэр өгөгдлийг хэрхэн удирдаж, хэн түүнд хандах боломжтой, амьдралын мөчлөгийн туршид үүнийг хэрхэн авч үздэг талаар хяналт тавих хэрэгцээг урьдчилан таамаглах арга замыг бий болгосон. Ингэснээр хамгийн сонирхолтой, альфа үүсгэгч материал олон нийтэд нээлттэй байдаггүй манай үйлчлүүлэгчдийн баазын хувьд хуваалцах итгэлийг тэдэнд өгсөн.Эдгээрийн зарим нь санхүүгийн хамгийн сонирхолтой, сорилттой асуудлуудын талаар зөвшилцөөгүй ойлголтыг бий болгохын тулд үүнийг олон нийтэд эсвэл хагас нийтэд нээлттэй контенттой хослуулах чадвартай системтэй, хамгийн эмзэг, сонирхолтой материал юм.

Алессио [00:29:40]: Тийм ээ, энэ нь бидний LLM-д зориулсан зөвлөмжийн системийг эвддэг гэж бид үргэлж хэлдэг. Та хувийн болон нийтийн мэдээлэлтэй, заримдаа олон нийтийн мэдээлэлтэй байдаг ч хувийн мэдээлэл нь бидний олж мэдэх гэж буй энэхүү ойлголтын утгуураар бид энэ ойлголтын загварыг олж авсан юм шиг санагддаг. Эдгээр өөр өөр баримт бичгийн үнэ цэнийн талаар RAC системд та хэрхэн бодож байна вэ? Би үүнийг маш их нууц соус гэдгийг мэдэж байна, гэхдээ- Үгүй, үгүй, зүгээр.

Майк [00:30:05]: Би байгаа гэж бодож байна, тиймээс би үүнийг контекстийг мэддэг өдөөлт гэж хэлэх замаар дохио зангаа хийх болно. Тэгэхээр та нийлмэл бөгөөд RAG контекст цонхонд орж буй агуулгын утгын үндсэн дээр байж болох эсвэл байхгүй байж болох өөр өөр командын нэгжүүдтэй байж болно. Энэ нь бидний маш их ашигладаг зүйл бөгөөд энэ нь үүнийг хаанаас авч байгаа вэ? Энэ юуг төлөөлдөг вэ?Үндсэн агуулгыг авч үзэх, хүндэтгэхийн тулд зааврын багцад юу байх ёстой вэ, энэ нь маш олон тексттэй адил биш, та үүнийг ойлгох болно, гэхдээ энэ нь дараах байдлаар эсвэл SEC-ийн мэдүүлгийн энэ тал дээр чухал юм. зүгээр л огт сонирхолгүй, эсвэл энэ нь таатай эх сурвалжийн борлуулалтын талын дүн шинжилгээ юм.Тиймээс үүнийг бүтээх нь чанарын хувьд хүний ажлыг зохион байгуулах асуудалтай адил эдгээр бүх хиймэл оюун ухааны дэд системүүдийн ажлыг зохион байгуулж, тэдний мэддэг зүйлээ сурталчлах асуудалтай тулгардаг. стекийн үлдсэн хэсэг нь хэрэв танд олон долоо, 10 дараалсан дүгнэлт дуудлага байгаа бол холбогдох бүх мета өгөгдөл тэр системээр дамжин тархаж, энэ нь хаанаас ирснийг та мэдэж байна уу?Энэ нь итгэх ёстой эх сурвалж гэдэгт би хэр итгэлтэй байна вэ? Та үүнийг зөвхөн дүн шинжилгээ хийхдээ л харж байгаа биз дээ? Альфа хайх нь үзэл бодолтой олон хүмүүсийн сайн жишээ бөгөөд тэдний зарим нь гайхалтай, зарим нь үнэхээр дунд байдаг, мөн та хэрэглэгчийн өөр өөр эх сурвалжийг илүүд үздэг системийг хэрхэн бий болгох вэ? Энэ бүхэн хэрхэн ажилладагтай холбоотой гэж би бодож байна, бид системийн инженерийн талаар ярилцсан, энэ бүхэн таны системийг хэрхэн бүтээхтэй холбоотой юм.

Алессио [00:31:51]: Тэгээд зүгээр л амралтын тал дээр ороохын тулд хүмүүс баримт бичгийг утгын хайлттай адил мэдлэгийн график болон баримт бичгээс гаргаж авахтай адил зүйлийн талаар хэрхэн бодох ёстой вэ?

Майк [00:32:01]: Мэдлэгийн графикийн олборлолт нь бидний нэлээд их хэмжээний хөрөнгө оруулалт хийж байгаа салбар учраас хэлний загваруудын бий болгох чадвар хэр хүчтэй, гэхдээ програмчлах чадвар бас бий гэж би бодож байна. үндсэндээ бага зэрэг тэг зардлаар дур зоргоороо машин сургалтын систем болж ажиллах.Тиймээс, хэрэглэгчийн асуулгад хариу өгөх бүртээ баримт бичигт дахин дүн шинжилгээ хийхээс илүүтэйгээр асар том, ойлгомжгүй том контентоос бүтэцлэгдсэн мэдээллийг нэг дамжуулалтаар гаргаж авах чадвар нь бид. Та мөн нэмэлт аргаар энэ текстийн үндсэн дээр нэг дамжуулалтыг хийж, дараа нь RAG контекст цонхонд оруулж чадна гэдэгт итгэлтэй байна.Энэ нь дэлхийн эдийн засгийн ийм бүтэцтэй график дүрслэлийг танд үзүүлсэн LinkedIn-д миний туршлагаас үнэхээр давуу тал болж, А хүн В компанид ажилладаг гэж хэлсэн. Энэ нь шийдвэртэй мэдлэгийн график үүсгэх боломж байгаа гэдэгт бид итгэж байна. Bloomberg эсвэл LinkedIn-ийн аль нь ч бай, одоогоор хандах боломжтой байгаа бөгөөд бид Y байгууллагыг шүүмжилсэн конгрессын мэдүүлгийг X хүн шиг нарийн ширийн байдлаар авч байгаа бөгөөд энэ нь гэрчлэлд хавсаргасан хэл юм. Дараа нь танд хэлний загваруудын үзүүлж буй үүсгэгч чадавхийг нөхөж болох бүтэцлэгдсэн мэдээллийн олдвор, учир шалтгаан бий.Тиймээс энэ нь ижил технологийг олон янзын зорилгод ашиглаж байна. Мөн энэ нь бүтээгдэхүүний гадаргуу дээр илэрдэг бөгөөд энэ нь өндөр талт, эргүүлэх боломжтой бүтээгдэхүүн боловч системийн сэтгэх чадварыг сайжруулдаг.

Алессио [00:33:49]: Тийм ээ, та ижил зүйл шиг дахин дахин асуумааргүй байна гэж хэлэхэд олон хүн "За, би энэ мэдээллийг маш сайн тааруулах болно" гэж хэлж магадгүй юм. загвар, чи мэдэж байна уу? Та үүнийг яаж бодож байна вэ? Энэ бол биднийг хамтран ажиллаж эхлэхэд нэг зүйл байсан, бид суурь загвар бүтээгээгүй юм шиг байна. Бусад олон стартапууд "Өө, бид санхүүгийн санхүүгийн загвар, санхүүгийн сангийн загвар эсвэл юу ч барьж байна" гэх мэт байсан.Хүмүүс RAG-ийн эсрэг нарийн тааруулах зөв цаг хэзээ вэ? Та энэ талаар бодож байсан эвристик зүйлээ хуваалцаж болох уу?

Майк [00:34:19]: Тэгэхээр бид ерөнхийдөө тийм биш, би зүгээр л хэлье, би өмнөх загварт байхгүй загварт хэр их мэдээлэл шингээж болох талаар хүчтэй бодол байхгүй байна. том хэмжээний нарийн тааруулах замаар сургах. өөдөсний ашиг тус нь үндэслэлтэй үндэслэлийг тойрон гарах чадвар юм. Тиймээс, та үүнийг зөвхөн эдгээр баримтуудыг ашиглахтай адил мэдэгдэж байгаа бөгөөд дүгнэлтийн үед бэлэн байгаа баримтуудын цуглуулгад оролцохыг албадах явдал юм.Наад зах нь миний бодлоор нарийн тааруулах үүрэг үнэхээр эргэн тойронд байдаг, би яг л үүдэл эс шиг хэлний загваруудыг боддог, дараа нь нарийн тааруулах үед тэдгээр нь янз бүрийн төрлийн тусгай эсүүдэд хуваагддаг тул бөөр эсвэл нүдний эс юм. .Хэрэв та тусгайлан бодох юм бол, би хязгааргүй агентын зан үйлийг ашиггүй гэж бодож байна, үүний оронд ашигтай LLM систем нь системийн үйл ажиллагаа нь олон янзын зан үйлийн дэглэмийн аль нэгийг эзэлдэг хязгаарлагдмал төлөвийн машинтай адил юм. мөн зорилгодоо хүрэхийн тулд дараа нь ямар мужийг эзлэх талаар шийдвэр гаргах.Таны систем нэвтэрч буй эдгээр төлөвүүдийн графикийн талаар бодохдоо нэг зан үйл нь ашигтай, давтагдах боломжтой бөгөөд тодорхой төрлийн дэд систем болгон ялгахад үнэ цэнэтэй гэдэгт итгэлтэй болсны дараа нарийн тааруулах, сургалтын өгөгдлийг тусгайлан бий болгох гэх мэт. Хүний тайлбарлагч нь зан үйлийн тодорхой ангиллыг олж авахад хангалттай хэмжээний корпус үүсгэдэг гэх мэт, энэ нь бид эдгээр системд цэвэр шинэ мэдээлэл оруулах гэж оролдохын оронд нарийн тохируулга ашигладаг.

Алессио [00:36:00]: Тийм ээ, хүмүүс үргэлж LLM-г хүн болгохыг хичээдэг. Өө, энэ бол миний шүүмжлэгч, энэ бол миний редактор. Чамайг тэр лагерьт байхгүй гэдгийг би мэднэ. Хүмүүс хэрхэн бодох талаар танд ямар нэгэн бодол төрж байна, тийм ээ, загвар өмсөгчдийг хэрхэн нэрлэх вэ?

Майк [00:36:16]: Бид энэ талаар бага зэрэг ярилцсан гэж хэлэх гэсэн юм, миний бодлоор антропоморфизм маш их явагдаж байгаа бөгөөд энэ нь системийг үнэлэхэд хүндрэлтэй байгааг харуулж байгаа нь анхаарал татаж байна. Энэ нь таныг Nature сэтгүүлийн редактор гэсэн үг үү, энэ нь тус болж байна уу? Яг л редактортой, тэгээд шүүмжлэгчтэй, хувийн мөрдөн байцаагчтай болсон юм шиг.Энэ нь миний бодлоор, бид шууд утгаараа гараа даллаж, магадгүй би чамд зөвлөгөө өгөх болно гэж хэлвэл энэ нь тус болох байх гэж хэлдэг. Энэ нь магадгүй энэ нь илүү олон цикл, илүү их тооцоололтой адил юм шиг санагдаж магадгүй юм. Дүгнэлт хийх үед бодлын гинжин хэлхээнд наалддаг, магадгүй энэ нь бидний үнэхээр хийж байгаа зүйл бөгөөд энэ нь далд тооцоололтой адил юм.Гэхдээ бидний туршлагаас харахад та энэ талаар хэтэрхий өхөөрдөм байх шаардлагагүйгээр ойролцоогоор агентын системээс үнэхээр, үнэхээр өндөр чанартай үндэслэлийг олж авах боломжтой юм. Та даалгаврыг тодорхойлж болох бөгөөд нарийн тодорхойлогдсон хүрээнд LLM-ийг өндөр чанартай бүтээгдэхүүн гаргахын тулд хүн шиг хандах шаардлагагүй болно.

Алессио [00:37:24]: Өөр нэг зүйл бол эдгээр бүх агентын хүрээнүүд бүх зүйлийг LLM гэж таамаглаж байгаатай адил юм.

Майк [00:37:29]: Тийм ээ, гарцаагүй. Энэ бол уламжлалт машин сургалт нь хоорондоо уялдаатай системийг бий болгоход бодит материаллаг үүрэг гүйцэтгэдэг газруудын нэг гэж би бодож байна. Уламжлалт гүн гүнзгий сургалтыг багтаасан сонгодог машин сургалтын системүүд нь LLM-ийн төлж чадахгүй байгаа бүтээгдэхүүнүүдийн үр дүнгийн багц, онцлог хуваарилалтын талаар ямар үр дүнд хүрч болох талаар статистикийн баталгаатай байдаг.Тиймээс бидний хийдэг нэг зүйл бол философийн хувьд бид тухайн ажилд тохирох хэрэгслийг сонгохыг хичээдэг. Заримдаа энэ нь нэг зүйлийг онцгой сайн хийдэг LLM-тэй ямар ч холбоогүй de novo загвар юм. Энэ нь олж авах, шүүмжлэх эсвэл олон ангиллын ангилал эсэхээс үл хамааран таны багажны хайрцагт олон, олон янзын хэрэгсэл байх нь үргэлж үнэ цэнэтэй гэж би бодож байна.

Алессио [00:38:20]: Энэ бол гайхалтай. Тэгэхээр хүмүүсийн гайхаж байгаа зүйл дутуу байна. Та санхүүгийн үйлчилгээний компани хийж, Excel-д юу ч хийгээгүй. Та яагаад бодлын түнш хийж байгаагийн цаад түүх юу вэ, хүүе, энэ нь ямар ч хувьцаа болон энэ бүхнийг ойлгодог хиймэл оюун ухаан идэвхжүүлсэн загвартай адил юм бэ?

Майк [00:38:37]: Тийм ээ, тодорхой болгохын тулд Brightwave нь хангалттай хэмжээний тоон үндэслэлийг хийдэг. Компанийн хувьд зорилгогүй зүйл бол Excel хүснэгтийг бий болгох явдал гэж би бодож байна. Ийм байдлаар ажилладаг бүтээгдэхүүнийг харахад та Excel хүснэгттэй олон цагийг өнгөрөөж, нарийн алдааг анзаарахгүй байж болно гэж би бодож байна.Мөн энэ нь томьёог хэрхэн бүрдүүлдэг талаар санхүүгийн загварт буруу тайлагнаж, таны бүх таамаглал гэнэт зөрчигддөг алдаагүй бүтээгдэхүүний туршлага юм. Тэгээд одоо энэ нь үр дүнтэй дэмий үрсэн хүчин чармайлт юм. Тиймээс бодлын аргачлалын түншээс ялгаатай нь тийм ээ, хэрэв загвар нь таны санал нийлэхгүй байгаа зүйл хэлсэн бол та үүнийг анхаарч үзээрэй. Энэ нь надад сонирхолгүй байна. Би дараагийн олох эсвэл нэхэмжлэх тал руу шилжих болно.Мөн энэ нь харилцан яриа шиг. Үүний өөр нэг хэсэг нь санхүүгийн загварчлал нь ихэвчлэн хэрэглэгчидтэйгээ ярилцахдаа маш хувийн шинж чанартай байдаг. Тиймээс тэд компани хэрхэн бүтэцлэгдсэн талаар тодорхой үзэл бодолтой байдаг. Тэдэнд хөрөнгийн гүйцэтгэлийн нэг гол хөдөлгөгч хүч байдаг бөгөөд энэ нь үнэхээр, үнэхээр чухал гэж боддог. Энэ нь эссэ бичих, эссэ бичих хоёрын ялгаа юм шиг санагдаж байна. Гэрийн даалгаврын зорилго нь энэ талаар би юу гэж бодож байна вэ?Тиймээс санхүүгийн загвартай байх нь товчлуур дарахтай адил санхүүгийн загварт тулгарч буй бодит асуудлыг шийдвэрлэх явдал гэдэг нь надад тодорхойгүй байна. Энэ нь бид онцгой өндөр чанартай тоон үндэслэлтэй байхын тулд маш их хүчин чармайлт гаргадаг. Тиймээс бид бодож байгаа бөгөөд би энэ талаар тийм ч олон нарийн ширийн зүйлийг ярихгүй, гэхдээ бид мэдээлэлтэй шийдвэр гаргахад үнэхээр чухал ач холбогдолтой хүснэгтийн өгөгдөлтэй нэлээд тооны баримт бичгүүдийг авч үздэг.Тиймээс манай RAG системүүд дахин ажиллаж, хүснэгтийн мэдээллийн эх сурвалжаас олж авах арга зам нь бид үүнийг маш их онцолж байгаа зүйл юм, миний бодлоор Excel хүснэгтийн хэрэгсэл нь зүгээр л, миний бодлоор энэ ангилалд тохирох тоглоом биш гэж бодож байна. 2024 онд байгаа технологийн .

Алессио [00:40:40]: Тийм ээ, 2034 он яах вэ?

Майк [00:40:42]: 2034?

Алессио [00:40:43]: Хүмүүс Excel загвар хийсээр байх уу, эсвэл тийм ээ, миний хувьд хамгийн сонирхолтой зүйл бол загвар өмсөгчид эдгээр илүү синтакс дээр тулгуурласан зарим зүйлээс хүмүүсийг хэрхэн холдуулж байгаа юм бэ гэж бодож байна. тэдэнд юу чухал вэ гэдэгт анхаарлаа төвлөрүүлэх үү?

Майк [00:40:58]: Тийм ээ, би чамд ирээдүй ямар байгааг хэлж чадахгүй байсан, 10 жилийн дараа энэ нь ямар байна. Чамайг үүнд итгүүлж чадах хэн ч заавал итгэлтэй байх албагүй гэж би бодож байна. Би тэгж бодож байна, тиймээс 70-аад оны нягтлан бодогчидтой параллель байдлыг зуръя. Тиймээс VisiCalc, би 1979 онд гарсан гэж бодож байна. Түүхийн хувьд та нягтлан бодогчийн хувьд 70-аад онд санхүүгийн мэргэжилтний хувьд байх байсан, би тэр хүн шиг. Би тоонуудыг удирддаг. Би арифметик хийдэг бөгөөд энэ нь миний үндсэн ажилтай адил юм.Энэ бол хэний ч хүсээгүй ажил гэдгийг та одоо л хараарай гэж бид бодож байна. Тооцооллын хүснэгт гэх мэт хүчирхэг хэрэгслүүдэд хандах функцээр хүний хийж чадах шинжилгээний нарийн төвөгтэй байдал нь хамаагүй илүү юм.Тиймээс хэлний загваруудын тухайд гэвэл ажлын урсгалд хүснэгтэд суурилсан контекстэд хийсэн дүн шинжилгээндээ тайлбар хийж байгаа жүжиг байгаа байх, эсвэл тэдгээр загваруудаас мэдээлэл авч байгаа байх гэж бодож байна. Дээрээс нь чанарын үндэслэл гаргадаг системд үүнийг шингээх. Гэхдээ эдгээр загваруудыг бодитоор үйлдвэрлэх нь хүний үүрэг хэвээр байгаа эсэх нь нээлттэй асуулт гэж би бодож байна.Гэхдээ бидэнд байгаа шинжилгээний нарийн төвөгтэй байдал, тэр шинжилгээний бүрэн бүтэн байдал нь цаг хугацааны явцад зайлшгүй нэмэгддэг гэж би бодож байна.

Алессио [00:42:24]: Хиймэл оюун ухааны эрсдэлээс хамгаалах сангуудын талаар юу хэлэх вэ? Мэдээжийн хэрэг, бид өнөөдөр кванттай байна, тийм ээ? Гэхдээ эдгээр нь импульс шиг, дохиогоор удирддаг, урт дипломын ажил багатай байдаг. Та үүнийг боломжтой гэж бодож байна уу?

Майк [00:42:35]: Энэ бол сонирхолтой асуулт байна. Би үүнийг танд буцааж өгөөд, энэ нь одоо эрсдэлээс хамгаалах сангуудын хийж байгаа зүйлээс хэр ялгаатай вэ? Миний бодлоор эрсдэлээс хамгаалах сангуудын багууд хэрхэн ажилладаг талаар илүү ихийг мэдэж авсан бөгөөд та үүнийг системийн ширээ эсвэл хагас системийн худалдааны бүлгүүд шиг харж байна, энэ нь маш том машин сургалтын багтай төстэй юм. Энэ нь надад сонирхолтой санагдаж байна, тийм ээ?Жишээлбэл, хэрэв та видео тоглоомууд болон Bay Area технологи гэх мэт уламжлалт тоглоомуудыг харвал эдгээр хоёр нийгэмлэгийн хооронд ижил төстэй авъяас чадварын хөдөлгөөн байхгүй болно. Танд видео тоглоомд ажилладаг хүмүүс болон SaaS программ хангамж шиг ажилладаг хүмүүс байдаг. Мөн энэ нь танин мэдэхүйн хувьд тэд хамтран ажиллах боломжгүй гэсэн үг биш юм. Энэ нь яг л өөр ур чадварын багц, өөр харилцааны багцтай адил юм. Мөн энэ нь хоорондоо харьцдаггүй сүлжээний кластеруудтай адил юм.Идэвхтэй хөрөнгийн хуваарилалтын нийгэмлэгт машин сургалтын талаар үүнтэй төстэй үзэгдэл тохиолдож магадгүй гэж би бодож байна. Тэгээд ч одоо манайд хиймэл оюун ухааны эрсдэлээс хамгаалах сан байхгүй гэдэг нь надад тодорхойгүй байна. Танд худалдааны ширээ ажиллуулж байгаа хиймэл оюун ухаан байгаа эсэх нь надад одоохондоо байгаа ийм зүйлийг харах шугам байхгүй юм шиг санагдаж магадгүй юм. Үгүй ээ, би үргэлж сонирхож байна.

Алессио [00:43:48]: Би хөрөнгийн менежментийн талаар хэд хэдэн янзаар боддог, гэхдээ венчур капитал нь маш их эрх мэдлийн хуультай адил юм. Эрх мэдлийн хуулийн бизнест машин сургалт хийхэд үнэхээр хэцүү байдаг, учир нь үр дүнгийн хуваарилалт нь нийтийн өмчийн эсрэг маш бага байдаг. Ихэнх өндөр давтамжийн арилжаа нь хонхны муруй, хэвийн хуваарилалттай адил юм. Энэ нь та зүгээр л зөв хэмжээгээр 50.5% авсан ч гэсэн маш их мөнгө олох болно. Тэгээд би хиймэл оюун ухаан тэндээс эхэлдэг гэж бодож байна, тийм үү?Өнөөдөр ихэнх өндөр давтамжийн арилжаа аль хэдийн хиймэл оюун ухаанд тулгуурласан байдаг. Сэргэн мандалтын үе эдгээр загваруудыг ашиглан аль эрт эхэлсэн гэдгийг та мэднэ. Гэхдээ энэ нь эрчим хүчний хуулийн бизнест хэрхэн ойртож, ойртох бол гэж би сонирхож байна, тийм ээ? Би зарим нэрийн хедж сангууд гэж хэлмээр байна, хөөе, бид зөвхөн эдгээр урт хугацааны стратегитай адил зүйл хийдэг учраас л ялгардаг. Диссертацид тулгуурласан, хөдөлгөөнд тулгуурласан гэх мэт.Ихэнх венчур капиталистууд танд хэлэх болно, манай сан энэ зах зээл дээр ийм өвөрмөц дипломын ажил байгаа учраас өөр байна. Таван жилийн өмнөх шиг би энэ блог нийтлэлийг уншсан гэж бодож байна, учир нь өнөөдөр таны хөрөнгө оруулалт хийж байгаа зүйлс яагаад хэзээ ч бүтэхгүй, учир нь энэ нь танд энэ нь ажиллах болно гэдгийг хэлэх ямар ч урьд өмнө байгаагүй зүйл юм.Ихэнх шинэ компаниуд, загвар өмсөгч танд энэ нь ажиллахгүй гэж хэлэх болно, та олон нийтийн компаниудтай ойртох тусам аливаа шинэлэг зүйл "За, ийм зүйл болсон" гэх мэт байх болно. Мөн эдгээр загварууд нь хоёр дахь эрэмбийн талаар бодох гэх мэт түншлэлийн бодол руу буцаж очихдоо ерөнхийлөн дүгнэж, бодохдоо маш сайн юм шиг санагдаж байна.

Майк [00:45:13]: Тийм ээ, магадгүй тодорхой жишээ бол бид ретроспектив, бизнесийн талаар таны санаагаар бид эргэн тойрныхоо түүхийг ярих нь гарцаагүй гэж бодож байна. ажиглагдаж болохуйц баримтууд. Энэ нь тухайн үед мэдэгдэж байсан бөгөөд эдгээр хүмүүс зөв дуудлага хийж, эдгээр бүх өөр өөр эх сурвалжийг хооронд нь холбож чадсан бөгөөд энэ бол бидний хийх бооцоо юм. Санаа бий болгох үйл явц туйлын автоматжуулсан гэж би бодож байна.Системийг зүгээр л ажиллуулж, бүх шийдвэрээ өөрөө гаргадаг хэн нэгнийг та хэзээ нэгэн цагт олж авдаг уу гэсэн асуулт гарч ирнэ үү, энэ нь сэдэвчилсэн хөрөнгө оруулалт хийхтэй адил юм уу, эсвэл хүний шинжээч ямар байх вэ гэх мэт. HFT шиг. Гэхдээ загвар өмсөгчдийн хэлэх чадвар нь анхаарал татахуйц баримтын загвар бөгөөд бид энд илүү их анхаарал хандуулах ёстой.Учир нь хэрэв та эдийн засаг дахь бүх боломжит харилцааны матрицын талаар бодох юм бол энэ нь таны үнэлж буй баримтуудын тоогоор квадратаар өсдөг, тухайлбал таны үнэлж буй баримтуудын тоогоор олон гишүүнт байдаг. Тэгээд би хиймэл оюун ухаанд бооцоо тавихыг хүсвэл хиймэл оюун ухааны өсөлтөөс ямар ашиг олох вэ?Загвар аваад, эдгээр бүх баримт бичгийг задлан шинжилж, хоёр дахь эрэмбийн дериватив бооцоо олоод, өө, эрчим хүч нь хиймэл оюун ухаанд оруулсан хөрөнгө оруулалттай маш их зэргэлдээ оршдог бөгөөд үнэ нь тийм биш байж магадгүй гэж хэлэх нь маш энгийн зүйл юм. GPU-тай адил. Жишээлбэл, эрчим хүчний дериватив нь эрчим хүчний урт хугацааны хадгалалт юм. Тиймээс танд хэлбэлзэлтэй эрэлт хэрэгцээтэй сэргээгдэх эрчим хүч болон эдгээр мэдээллийн төвүүдийн тооцооллын шаардлагуудын хоорондох гүүр хэрэгтэй.Би энэ түүхийг Brightwave энэ ажлыг хийж байгааг харсан шиг ярьж байна гэж бодож байна, та байр сууриа илэрхийлж, энэ сэдвээр бидний хийж чадах хоёр, гурав дахь эрэмбийн бооцоо юу вэ? Тэгээд энэ нь буцаж ирэх болно, энд боломжийн диссертацийн багц байна. Тэгээд би тэр ертөнц дэх хүний үүрэг бол бидний сангийн стратегийг харгалзан үзэх нь утга учиртай гэж бодож байна уу? Энэ нь миний удирдлагын багуудтай хийсэн дуудлагатай нийцэж байна уу?Хүмүүс бол синтезатор, шийдэгчидтэй адилхан гэж би боддог ийм өргөн хүрээний мэдлэг байдаг. Магадгүй би буруу бодож байгаа байх. Ирээдүйн ертөнц шиг харагдаж магадгүй, бүх зүйлийг үнэхээр хийдэг хиймэл оюун ухаан нь энэ ертөнц ямар харагддаг талаар бодоход үнэхээр хэцүү байдаг өвөрмөц байдлын вектор гэж би бодож байна.Та надаас таамаг дэвшүүлэхийг хүссэн ч би үүнийг хийхдээ эргэлзэж байна, учир нь энэ бол зүгээр л урьдчилсан мэдээ, хар салхины зам нь энэ нь ямар харагддаг талаар жинхэнэ итгэлтэй байхын тулд хэтэрхий их зөрүүтэй байдаг.

Алессио [00:47:58]: Гайхалтай, бид таны маш их цагийг зарцуулсан гэдгийг би мэдэж байна, гэхдээ боохоос өмнө анхаарах ёстой нэг зүйл бол нээлттэй эхийн LLMs юм. Та үүний тэргүүн эгнээнд байсан нь ойлгомжтой. Улаан унтлагын хувцас нээлттэй эх сурвалж байсан тэр өдөр бид ангиа бичиж авсан бөгөөд бид "Өө, энэ үнэхээр сэтгэл хөдөлгөм" гэж байсан. Энэ галзуу байх болно. Одоо бид 400 тэрбум параметр бүхий нээлттэй эхийн нягт трансформаторын загвартай болно. Нэг жилийн өмнө та надад ийм зүйл болно гэж хэлж чадах байсан эсэхийг би мэдэхгүй.Тэгэхээр нээлттэй эх сурвалжид юу чухал гэж та бодож байна вэ? Хүмүүс юун дээр ажиллах ёстой гэж та бодож байна вэ? Хүмүүс үнэлэхийн тулд юуг анхаарах ёстой вэ? За, энэ загвар үнэхээр сайн байх болов уу? Эсвэл зүгээр л зарим жишиг үзүүлэлтүүдийг хууран мэхэлж сайхан харагдахтай адил уу? Тэнд ямар нэгэн зүйл байна уу? Тийм ээ, энэ бол хүмүүс хүсвэл аль хэдийн орхисон подкастын хэсэг юм. Тиймээс тэд яг одоо халуун зүйлийг сонсохыг хүсч байна.

Майк [00:48:46]: Энэ бол өөрийн хувийн үнэлгээний корпустай байх бас нэг шалтгаан гэж би бодож байна, ингэснээр та эдгээр загваруудын гүйцэтгэлийг бодитой, түүвэргүйгээр хэмжих боломжтой болно. Дахин хэлэхэд, заримдаа энэ нь багийн бүх хүмүүст 250 тайлбар өгч, "Бид үүнийг зүгээр л даван туулах болно" гэж хэлэх шиг санагддаг. Та үүнийг хэлэх ёстой, энэ нь уулзаж байна уу? Өөр нэг зүйл бол та өөрөө ажлаа хийх өөр нэг зүйл бол алдагдлын функцийг яг таг илэрхийлэх явдал юм.Энэ нь юу вэ, би системийг яг ямар байгаасай гэж хүсч байна вэ? Би энэ систем эсвэл энэ загвар эсвэл өөр загварыг илүүд үздэг үү? Тийм ээ, миний бодлоор шалгалтыг хэтрүүлэн тохируулах ажил 100% болж байна. Жилийн өмнөхөөс ялгаатай нь нэг анхаарал татахуйц зүйл бол компаниудын өөрсдийн суурь загвараа сургах урамшуулал, эдийн засгийн хөшүүрэг буурч байна гэж би бодож байна.Тэгэхээр та галт тэрэгний өмнөх галт тэрэгний давамгайлж байгаа цонх нь 400 тэрбум биш харин таваас 40 сая доллар зарцуулдаг гэж бодъё.

Алессио [00:49:50]: Энэ нь 40 сая гаруй үнэтэй. Өөр нэг үсрэлт.

Майк [00:49:52]: Гэхдээ олон тэрбум долларын үнэтэй жижиг ээж, поп дэлгүүр шиг ийм зүйл гарч ирж магадгүй юм. Үүнээс олж авах ашиг нь цаг хугацааны явцад буурч байгаа юм шиг санагдаж байна. Тиймээс цөөхөн компани энэ хөрөнгийн зардлыг гаргах болно гэж би бодож байна. Мөн үүнд материаллаг сөрөг тал байгаа байх гэж би бодож байна. Гэхдээ нөгөө хэсэг нь ядаж сүүлийн хоёр хагас, гурван сарын хугацаанд эдгээр загварууд бүгд ижил төстэй байдлаар ханддаг болохыг бид харж байна.Мөн тэдний урьдчилан бэлтгэгдсэн сургалтын өгөгдөл нь ихээхэн давхцаж байгаа байх. Тиймээс энэ нь сургалтын өгөгдөлд ерөнхийлсөн загварыг ерөнхийд нь дүгнэж байна. Тиймээс та ийм төрлийн балканжилттай байгаа нь тодорхойгүй байна, учир нь тус бүр нь өөр өөрийн гэсэн өвөрмөц арга барилаараа сайн, харин лам гэх мэт зүйл "сонсох" гэх мэт зүйл болж хувирдаг. Энэ бол бий болгоход тохиромжтой стандарт юм. Урьдчилсан зардал нь маш өндөр байгаа юм шиг бид харах болно.Мөнгөтэй хүмүүсийн хувьд бэлтгэл сургуулилт хийх нь ашиг тус багатай болсон гэж би бодож байна. Миний бодлоор та эдгээр болон эдгээр бүх зан үйлийн дэглэмийг хэрхэн ялгах вэ? Мөн тодорхой төрлийн зан үйлийг бий болгодог зааварчилгааг тааруулах, нарийн тааруулах өгөгдөл гаргах зардал эндээс л үнэхээр сонирхолтой ажил эхэлж магадгүй гэж би бодож байна.Хэрэв та илүү олон сургалтын өгөгдөл дээр бэлтгэгдсэн ижил загвар архитектур нь гүйцэтгэлийг мэдэгдэхүйц сайжруулж чадна гэдгийг харвал энэ нь инновацийг загварчлахын үнэ цэнэ юм. Суурь машин сургалт болон хиймэл оюун ухааны судалгааны хувьд хийх зүйл маш их байна. Гэхдээ миний бодлоор илүү бага унжсан жимс нь эдгээр загваруудаас тодорхой арга замаар шинэ зан үйлийг бий болгодог сургалтын мэдээллийн шинэ төрлийн корпусуудыг хөгжүүлж байгаа байх.Жилийн өмнө ийм боломж байгаа талаар бодоход та эдгээр загваруудыг нарийн тааруулах олон давталтын туршлагыг олж авахын тулд авахад хэцүү байсан нэлээд өндөр гүйцэтгэлтэй GPU-г ашиглах боломжтой байх ёстой байсан.Мөн та корпус авч, дараа нь загварыг нарийн тааруулж, дараа нь олон дүгнэлтийн дамжуулалтыг харах үед юу хийж байна вэ, гаралтын чанарын шинж чанар юу вэ, та өөрийн дотоод оюун санааны загварыг боловсруулж байна. сургалтын корпус нь загварын зан үйлийг чанарын хувьд бүрдүүлдэг. Жилийн өмнө ийм туршлага олж авах нь маш үнэтэй байсан.Одоо та олон төрлийн сургалтын корпусыг дахин бүрдүүлж, "За, би энэ багц жагсаалыг оруулбал би яах вэ?" Мөн энэ бол маш, маш үнэ цэнэтэй ур чадвар бөгөөд бусад хүмүүсийн ашиглах боломжгүй загвар, бүтээгдэхүүнтэй болох арга замуудын нэг гэж би бодож байна.Тиймээс илүү олон хүмүүс, илүү олон хүмүүс ийм туршлагатай учраас эдгээр мэдрэмжүүд олшрохын хэрээр та загвар өмсөгчдөд онцгой сонирхолтой, ашигтай шинэ зан үйлийг шингээсэн өгөгдлийн корпусуудыг гаргадаг багуудыг харах болно гэж би бодож байна. Энэ нь дараагийн төрлийн инновацийн ялгаануудын зарим нь эндээс үүдэлтэй байж магадгүй гэж би бодож байна.

Алессио [00:53:03]: Тийм ээ, тийм ээ, хүмүүс надаас асуухад би тэдэнд загварын хагас задралын хугацааг үргэлж хэлдэг, энэ нь мэдээллийн багцын хагас задралын хугацаанаас хамаагүй богино байдаг.

Майк [00:53:08]: Тийм ээ, үнэхээр.

Алессио [00:53:09]: Жилийн өмнө хүмүүсийн бэлтгэсэн бүх загвартай харьцуулахад эдгээр сургалтын ихэнх гүйлтийн гол цөм нь овоо хэвээр байгаа гэсэн үг. Тэд LMC-ийн хогны самбарын ёроолд байгаа юм шиг.

Майк [00:53:20]: Олдворыг үйлдвэрлэхэд зарцуулсан ажил шиг маш чухал, хадгалах хугацаа нь долоо хоногтой адил байдаг бусад төрлийн тооцооллын технологитой ижил төстэй зүйл бол галзуу юм. Та мэдэж байгаа, урьд өмнө тохиолдсон зүйл байгаа гэдэгт би итгэлтэй байна, гэхдээ энэ нь гайхалтай юм.

Алессио [00:53:37]: Тийм ээ, Долли хамгийн сайн нээлттэй эхийн загвар байсныг би санаж байна.

Майк [00:53:42]: Долли хэзээ ч хамгийн сайн нээлттэй эхийн загвар байгаагүй, гэхдээ энэ нь тухайн үед олон хүнд ойлгомжгүй зүйлийг харуулсан. Тийм ээ, гэхдээ энэ нь хэзээ ч хамгийн сүүлийн үеийн байгаагүй гэдгийг бид үргэлж тодорхой хэлдэг.

Алессио [00:53:53]: Хамгийн сүүлийн үеийн эсвэл энэ нь юу гэсэн үг вэ? Энэ бол гайхалтай, Майк. Таны нэмэхийг хүссэн бидний хэлэхээ мартсан бүх зүйл? Ямар ч дуудлага, би чамайг багаа өсгөх талаар бодож байгааг мэдэж байна.

Майк [00:54:03]: Бид хиймэл оюун ухаан, сонгодог машин сургалт, системийн инженерчлэл, түгээлтийн систем, урд талын инженерчлэл, дизайныг бүхэлд нь ажилд авч байна. Бид багт олон нээлттэй үүрэг гүйцэтгэдэг. Бид онцгой хүмүүсийг ажилд авдаг. Бид энэ ажлыг философийн хувьд тухайн хүнд тохирсон бөгөөд илүү гайхалтай хүмүүстэй ажиллах дуртай. Гайхалтай.

Алессио [00:54:25]: Ирсэнд маш их баярлалаа, Майк.

Майк [00:54:26]: Баярлалаа, Алессио.