Хатуу горимын гарааны бизнес: Оксид, 2-р хэсэг. Програм хангамж, соёл

Эхлэхээсээ өмнө: бид алдааны менежментийн судалгаа хийж, "гэрлээ асаалттай байлгах" (KTLO.) Энэ бол олон инженерийн багуудын тэмцэж буй салбар бөгөөд бид танд болон танай байгууллагад юу тохирохыг сонсохыг хүсч байна. Та чадна дэлгэрэнгүй мэдээллийг энд хуваалцаарай бидэнтэй хамт - Гергели, Элин нартай, өөрөөр хэлбэл. Баярлалаа!

Техник хангамжийн компаниудыг ихэвчлэн "хатуу горим" дээр гарааны бизнес гэж үздэг, учир нь техник хангамж нь програм хангамжаас илүү их хөрөнгө шаарддаг бөгөөд програм хангамжаас бага ашиг тустай байдаг бөгөөд энэ сорилт нь програм хангамжаас хамаагүй цөөн техник хангамжийн гарааны амжилтын түүхүүд байдгаас харагдаж байна. Оксид нь зөвхөн "үүл компьютер" нэртэй шинэ төрлийн сервер болох шинэ төрлийн техник хангамжийг бүтээгээд зогсохгүй програм хангамжийн стекийг эхнээс нь үйлдвэрлэж байна.

Би үүсгэн байгуулагч, CTO Брайан Кантрилл нартай Оксид хэрхэн ажилладаг талаар илүү ихийг мэдэхийн тулд Эмеривилл дэх компанийн төв байранд (Сан Францискогоос Бэй гүүрээр машинаар хэдхэн минутын зайтай) зочилсон.

1-р хэсэгт Энэхүү мини цувралаас бид бизнесийн техник хангамжийн талыг хамарсан; Техник хангамж, техник хангамжийн үйлдвэрлэлийн үйл явц болон холбогдох сэдвүүдийг хурдан давтахын тулд "прото самбар" ашиглан сүлжээний унтраалга бүтээх. Өнөөдөр бид дараах байдлаар дүгнэж байна:

1. "Орчин үеийн" серверийн талын тооцооллын хувьсал. Үндсэн фрэймүүд 1960-70-аад онд алдартай байсан бөгөөд 2000-аад оноос хойш компьютертэй төстэй серверүүд дата төвүүдийг эзэмшиж байсан бол Google, Meta зэрэг гиперскалерууд өөрсдийн захиалгат серверийн техник хангамжийг бүтээдэг.

2. Програм хангамжийн стек. Нээлттэй эхийн үйлдлийн систем, дибаглагч, нийтийн үйлчилгээний Rust-ийг эхнээс нь бүтээсэн. Мөн bhyve, Typescript, CockroachDB болон бусад технологид суурилсан гипервизор.

3. Нөхөн олговор ба ашиг тус. Урамшуулалтай худалдагчаас бусад бараг бүх хүмүүс 201,227 долларын үндсэн цалин авдаг. Энэ бол үүрд ажиллахгүй байж болох ч одоо хэрэгжих ховор нөхөн олговрын стратеги юм!

4. Ажилд авах үйл явц. Үр дүнтэй бичих, дүн шинжилгээ хийх нь хичнээн чухал болохыг харуулсан бичих хүнд үйл явц. Сонирхолтой нь хүн бүр бие биенийхээ "ажлын дээж" багцыг хардаг.

5. Инженерийн соёл. Алсын зайнаас эхлээд бичихэд хүнд, RFD, бүртгэгдсэн уулзалтууд, гүйцэтгэлийн үнэлгээ байхгүй гэх мэт.

6. Програм хангамж, техник хангамжийн инженерийн хамтын ажиллагаа . Ихэнх компаниудад програм хангамжийн инженерүүд техник хангамжийг өөрчлөх боломжгүй гэдгийг хүлээн зөвшөөрөх ёстой бөгөөд техник хангамжийн инженерүүд програм хангамжийн талаар ижил зүйлийг хүлээн зөвшөөрдөг. Гэвч програм хангамж, техник хангамжийн инженерүүд үнэхээр харилцаж байх үед тэд аль нь ч үнэн биш гэдгийг ойлгож, Оксидын хийсэн шиг бүх зүйл, юуг ч өөрчилж чадна.

7. Apple болон Sun-ийн нөлөө. Apple бол өөрийн техник хангамж, программ хангамжийг үйлдвэрлэдэг хамгийн алдартай хэрэглээний технологийн компани бол Sun энэ төрлийн хамгийн сүүлийн томоохон сервер үйлдвэрлэгч юм. Брайан Sun-д 14 жил ажилласан бөгөөд Оксид нь 1990-ээд онд Sun-г амжилтанд хүргэсэнтэй ижил төстэй тоглоомын номыг дагаж мөрддөг.

Ердийнх шигээ технологийн компаниудад гүн гүнзгий шумбах нь бүрэн бие даасан бөгөөд би тэдэнтэй арилжааны ямар ч холбоогүй юм. Би уншигчид болон програм хангамжийн мэргэжилтнүүдийн сонирхолд тулгуурлан, мөн сонирхолтой компани эсвэл домэйн байх үед хамрах бизнесийг сонгодог. Хэрэв танд ирээдүйд сонирхолтой технологийн бизнес эрхлэх талаар санал байгаа бол, хуваалцана уу !

Энэ нийтлэлийн доод хэсгийг зарим цахим шуудангийн үйлчлүүлэгчид тасалж болно. Өгүүллийг бүрэн эхээр нь онлайнаар тасралтгүй уншина уу.

Нийтлэлийг бүрэн эхээр нь онлайнаар уншина уу

1. "Орчин үеийн" серверийн талын тооцооллын хувьсал

1-р хэсэгт бид авч үзсэн Оксид яагаад шинэ төрлийн сервер бүтээж байна вэ? , тэгээд яагаад одоо 2024 онд? Эцсийн эцэст, серверийн тавиур шиг том, харьцангуй үнэтэй үүлэн компьютер бүтээж, зарж байгаа нь өнгөрсөн үеийн үндсэн фрэймийн тооцооллын эрин үе рүү буцсан мэт санагдаж байна.

Асуулт бол серверүүд 70 жилийн хугацаанд хэрхэн хөгжсөнийг харах сайхан боломж юм. А Стэнфордын их сургуулийн 2020 оны яриа , Брайан сонирхолтой тойм өгсөн. Доорх ишлэлүүд:

1961: IBM 709 . Энэ машин нь цаг хуваах тооцоолол явуулахад хангалттай том байсан тул "үндсэн фрэйм"-ийн шалгуурыг хангасан анхны машинуудын нэг байв. Энэ нь 33,000 фунт (15 тонн) жинтэй вакуум хоолойтой компьютер байсан бөгөөд 205 квадрат фут (180 хавтгай дөрвөлжин метр) зарцуулсан. Өнөөдөр бүрэн тавиур нь ойролцоогоор 10-25 кВт зарцуулдаг. Үүн дээр жин, орон зай, эрчим хүчний хэрэглээнд нэмэлт 50% байсан шаардлагатай агааржуулагчийг нэмээрэй!

1975 он: PDP 11-70. Машинууд жижгэрч, илүү хүчирхэг болж байв.

1999: Sun E10K. 1990-ээд оны сүүлээр E10K нь хамгийн сүүлийн үеийн харагдах үед олон вэбсайтууд Sun серверүүдийг ашигладаг байсан. eBay нь 2 процессортой Sun машинаас эхэлж, эцэст нь вэбсайтыг ажиллуулахын тулд 64 ГБ багтаамжтай Sun E10K хувилбарыг ашигласан.

2009: x86 машинууд. Арван жилийн дотор Intel x86, Intel-ийн процессорын гэр бүл мөнгөний төлөө үнэ цэнэтэй серверийн тулаанд ялсан; Sun гэх мэт борлуулагчдын үнийн багахан үнээр ижил хэмжээний тооцоолол санал болгодог. Ойролцоогоор 2009 онд HP-ийн DL380 нь нийтлэг сонголт байсан.

Эхэндээ x86 серверүүд CD-ROM хөтчүүдтэй байсан нь сервер дээр хачирхалтай байв. Шалтгаан нь тавиур дээр суурилуулсан хэдий ч архитектурын хувьд хувийн компьютер байсан. Тэд x86 процессорын гүйцэтгэлийн үнээр алдартай байсан.

2009: Хэт том тооцоолол Google-ээс эхэлдэг. Техникийн аваргууд компьютерийг үр дүнтэй ашиглахын оронд өөрсдийн серверийн архитектурыг эхнээс нь захиалгаар хийснээр илүү сайн сервертэй болно гэж итгэж байсан.

Google өөрийн хэрэгцээнд нийцүүлэн хамгийн хямд сервер бүтээхийг зорьж, үүнд зориулж анхны дизайны бүх хэсгийг оновчтой болгосон. Энэ сервер нь CD-драйв болон хэд хэдэн порт гэх мэт шаардлагагүй зүйлсээс салж, эх хавтан, CPU, санах ой, хатуу диск, тэжээлийн нэгжийг үлдээсэн. Google дизайн дээр дахин давтсаар байв.

2017 он: хэт өргөн цар хүрээтэй тооцоолол хурдасдаг. Зах зээл дээрх борлуулагчид улам бүр нэмэгдэж буй тооцооллын хэрэгцээг хангаагүй нь зөвхөн Google биш юм. Бусад томоохон технологийн компаниуд өөрсдийн дата төвүүд, тэр дундаа Facebook-т зориулж серверээ зохион бүтээхээр шийдсэн:

Тэр үед хэт өргөн цар хүрээтэй тооцоолол нь нэгдсэн цахилгаан хангамжгүй тооцооллын чарга болон хувирчээ. Үүний оронд тэд DC автобусны бааранд холбогдсон. Ихэнх гиперскалерууд эрчим хүчний хэрэглээг оновчтой болгох нь үр ашигтай, том хэмжээний тооцоолол бүтээхэд маш чухал гэдгийг ойлгосон. Брайан хэлэхдээ:

"Таны зорилго бол эрчим хүчний хэрэглээний үр ашгийг дээшлүүлэх явдал юм бол та аль болох үр ашигтай байж, бүх хүчээ тооцоололдоо зарцуулж, өрөөг халаахад аль болох бага байлгахыг хүсч байна."

2020 он: Серверийн талын тооцоолол 2009 онтой төстэй хэвээр байна. Хэт өргөн цар хүрээтэй тооцоолол арван жилийн хугацаанд томоохон хувьслыг туулсан тул 2020 онд алдартай сервер нь HPE DL560 байв.

Энэ нь компьютерийн загвар хэвээр байгаа бөгөөд DVD диск, дэлгэцийн портуудтай. Брайаны ажигласнаар ихэнх компаниуд серверийн талын үр ашгийг дээшлүүлэхэд ихээхэн шинийг санаачилсан Google, Meta зэрэг гиперскалеруудаас ялгаатай нь өөрсдийн захиалгаар бүтээсэн шийдлүүдийг ашиглах "дэд бүтцийн давуу эрх" дутмаг байдаг.

Серверийг шинэчлэхэд яагаад шинэлэг зүйл гараагүй вэ? Ингэснээр компаниуд том хэмжээний хэрэглээний тохиолдлуудад зориулж сайжруулсан сервер худалдаж авах боломжтой юу? Брайан хэлэхдээ:

“Үнэндээ үүлэн доторх техник хангамжийг шинэчлэх оролдлого маш олон байсан. Intel-ийн оролдлого гэх мэт тогтсон компаниудад оролдлого гарсан. Intel Rack масштабын дизайн (2017) эсвэл HP HPE Moonshot (2013). Гарааны бизнесүүд дуртай Мананцар (2011-2015) болон Skyport (2013-2018 он, Cisco худалдаж авсан) мөн энэ асуудлыг шийдэхийг оролдсон.

Хичээл бүр өөр өөрийн гэсэн шалтгааны улмаас бүтэлгүйтсэн боловч миний харж буй нийтлэг сэдэв бол тэд хангалтгүй амбицтай, эсвэл хангалтгүй өргөн хүрээтэй, заримдаа хоёулаа байсан явдал юм.

Шинэ төрлийн үүлэн тооцооллын барилгын блок барих асуудлыг шийдвэрлэхийн тулд техник хангамж, програм хангамж хоёулаа шаардлагатай бөгөөд тэдгээр нь байх ёстой хамтран зохион бүтээх. Тогтсон тоглогчдын хувьд үүнийг хийх нь хэтэрхий их саад учруулдаг. Тэд одоо байгаа техник хангамж, програм хангамжийн стекээ дахин ашиглахыг илүүд үздэг! Мөн гарааны бизнес эрхлэгчдийн хувьд техник хангамж, программ хангамжийг эхнээс нь бүтээх зардал хэтэрхий их байдаг тул энэ нь хэтэрхий их хөрөнгө шаарддаг."

2. Програм хангамжийн стек

Зэв үйлдлийн систем болон арын үйлчилгээний хувьд Оксидын сонгосон хэл юм. Програм хангамжийн инженер Стив Клабник өмнө нь Rust-ийн үндсэн багт ажиллаж байсан бөгөөд Оксид анхны програм хангамжийн инженерүүдийн нэгээр элссэн. DevTools.fm дээр Подкастын үеэр тэрээр хөгжүүлэгч C эсвэл C++-ээс илүү системийн програмчлалд Rust-ийг сонгох болсон шалтгааныг тайлбарлав.

“Зэв нь танд C болон C++-ийн хийдэг бүх зүйлийг хийх боломжийг олгодог, гэхдээ энэ нь танд эдгээр ажлыг илүү их хийхэд тусалдаг. Хэрэв та доод түвшний ажил хийж байгаа бол маш хурц багаж ашиглах хэрэгтэй бөгөөд хурц багаж хэрэгсэл заримдаа таныг огтолж чаддаг. Мөн тэнд хачирхалтай тэнцвэр байдаг.

Нэмж дурдахад, энэ доод түвшний орон зай нь удаан хугацааны туршид олон шинэ програмчлалын хэлийг олж хараагүй. Тиймээс эдгээр бусад хэлүүд нь 90-ээд оноос хойш үүнийг хийхгүй байсан бол илүү хуучин сургууль байх хандлагатай байдаг - тиймээс ашиглахад хэцүү байдаг.

Зэв нь 70, 80-аад онд нэлээд гацсан орон зайд 2010-аад оны үеийн хөгжлийн туршлагыг авчирдаг. Rust болон C++ хэлийг огт тоодоггүй олон хүмүүс байдаг, гэхдээ тэдэнд илүү танил болсон хөгжүүлэгчийн туршлага байдаг нь Rust-ийг үнэ цэнэтэй болгодог."

Сонирхолтой нь, Rust-д оролцох нь ажилд авахад ихээхэн тусалсан гэж Брайан хэлэв; магадгүй Rust нийгэмлэгийн нэгдэл нь харьцангуй жижиг бөгөөд Оксид үүнд тууштай ханддаг. Эхэндээ програм хангамжийн инженерүүдээс илүү мэргэшсэн техник хангамжийн инженерүүдийг олох нь илүү хэцүү байсан; Магадгүй Rust-ийн программ хангамжийн инженерүүд Оксидын талаар сонссон байх.

Нээлттэй эх сурвалж Энэ нь Оксидын бүтээн байгуулалт, программ хангамжийг гаргах зориудаар стратеги бөгөөд захиалгат, хаалттай эхийн программ хангамжаар захиалгат техник хангамжийг нийлүүлдэг бусад техник хангамжийн үйлдвэрлэгчдээс өөр нэг ялгагч юм.

Суулгасан үйлдлийн систем Оксидын техник хангамжийн микроконтроллерууд дээр ажиллуулах гэж нэрлэдэг Ихэмсэг . (Энэ нь AMD CPU дээр ажилладаг үйлдлийн систем биш гэдгийг анхаарна уу: доор дурдсанчлан үйлдлийн систем нь Helios юм.) Hubris бол бүх зэвэрсэн, нээлттэй эх сурвалж юм. Онцлог шинж чанарууд:

• Микрокернелд суурилсан : ашигладаг бараг хамгийн бага хэмжээ үйлдлийн системийг хэрэгжүүлэх програм хангамжийн .

• Санах ойг хамгаалах систем: Даалгавар, цөм, драйверууд бүгд салангид хамгаалалтын домэйнд байдаг. Rust гэх мэт санах ойд аюулгүй хэлийг ашигласан ч тусгаарлах нь чухал юм.

• Өндөр дибаг хийх боломжтой үйлдлийн систем , дуудагдсан тусгай дибаглагчийн ачаар Даруу байдал .

• Өргөдлийн гүйцэтгэл болон өргөдлийн ачааллын статик . Олон үйлдлийн системүүд динамикаар даалгавруудыг бий болгодог ажиллах цаг . гэхдээ Hubris нь тухайн програмын даалгавруудыг зааж өгөх зорилготой юм цаг барих . Брайан хэлэхдээ:

"Энэ бол хоёр ертөнцийн хамгийн шилдэг нь: энэ нь систем юу ажиллуулж болох талаар нэгэн зэрэг динамик бөгөөд ерөнхий зорилго боловч тодорхой хэрэглээний хоёртын ачааллын хувьд бүхэлдээ статик бөгөөд гүйцэтгэлийн хувьд ерөнхийдөө статик юм. Динамик нөөцийн хомсдол нь суулгагдсан систем дэх олон асуудлын үндэс юм; Систем нь хэзээ нэгэн цагт харж болох бүх ажлуудаа априори мэддэг байх нь түүнийг динамик хуваарилалтын гол эх үүсвэрээс гадна дагалдах эвдрэлийн горимоос чөлөөлдөг."

Хэрэв та Hubris-ийг бодит техник хангамж дээр ажиллуулж, Humility-ээр дибаг хийхийг хүсвэл 30 орчим долларын үнэтэй самбар захиалж болно. ST Nucleo-H753ZI үнэлгээний зөвлөл тохиромжтой:

Гипервизор. Гипервизор нь үүлэн тооцоололд чухал программ хангамж юм. Мөн "Виртуал Машины Монитор (VMM)" гэгддэг гипервизор нь физик машинуудын дээр виртуал машин бүтээж ажиллуулдаг. Серверийн техник хангамж нь ихэвчлэн нэг физик серверийг олон виртуал машинд хуваах, эсвэл ядаж үүнийг хийх чадвартай байх хангалттай хүчтэй байдаг.

Оксид нь нээлттэй эх үүсвэр дээр суурилсан гипервизорын уусмалыг ашигладаг bhyve , өөрөө баригдсан гэрэл гэгээ , Unix үйлдлийн систем. Оксид нь өөрийн гэрэлтүүлгийн тархалтыг хадгалдаг Helios мөн Rust-д суурилсан VMM хэрэглэгчдийн орон зайг бий болгодог Прополис . Оксид нь гипервизорын чадавхийн талаар илүү ихийг хуваалцдаг онлайн баримт бичиг .

Оксид нь мөн өөрийн стек эсвэл цэвэрхэн хэрэгслүүдэд зориулан бүтээсэн бусад олон програм хангамжийн эх үүсвэрийг нээж өгсөн:

• Омикрон : Оксидын тавиурыг удирдах онгоц. Дэлгэрэнгүйг уншина уу түүний архитектурын талаар.

• Тигель : Оксидын тархсан хадгалах үйлчилгээ

• Ачаалах : хамгийн бага, ерөнхий ачаалагч

• Дизайн систем : Оксидын үйлчлүүлэгчдэд ашигладаг үндсэн урд талын бүрэлдэхүүн хэсгүүд

• OPTE : Оксидын пакет хувиргах хөдөлгүүр

• Dropshot : Rust програмын REST API-г илчлэх

• Төрөлжүүлэх : JSON to Rust схем хөрвүүлэгч

• Консол : Оксидын вэб консол

• ...болон бусад олон !

Оксидын бусад технологи:

• Бичгийн тайлбар: урд талын бүх зүйлийг сонгох хэл. Оксид вэб консол , дизайны хөрөнгө , мөн RFD сайт , энэ хэлийг ашигла.

• CockroachDB : удирдлагын хавтгайн мэдээлэл хадгалах системд ашигладаг тархсан мэдээллийн сан.

• ClickHouse : Оксидын тавиур дээр телеметрийн өгөгдлийг цуглуулах, хадгалахад ашигладаг нээлттэй эхийн баганад чиглэсэн мэдээллийн сангийн удирдлагын систем.

• Tailwind CSS: Тэмдэглэгээг ашиглан хэв маягийг тодорхойлох анхны CSS хүрээг Оксидын багийн бүтээсэн вэбсайтуудад ашигладаг.

• Терраформ: Оксид хэлэлцүүлгийн сайтын хүсэлт дэд бүтцийг код болгон ашиглан үндсэн дэд бүтцээ тайлбарлахдаа Terraform ашигладаг. зааж өгөх энэ сайтаас ажилладаг Google Cloud бүс. Энэ бол дотоод дэд бүтцийн сонголт бөгөөд нэлээд энгийн сонголт боловч надад сонирхолтой санагдаж байна.

• Фигма : дизайны загвар, Оксидын дизайны системийн номын санд ашигладаг Фигма-тай синхрончлох . Шалгах Фигмагийн инженерийн соёлд гүн гүнзгий шумбах.

3. Нөхөн олговор ба ашиг тус

Оксид ихэнх компаниудаас эрс өөр нөхөн олговрын аргыг сонгосон бөгөөд бараг бүх хүн 201,227 долларын ижил үндсэн цалин авдаг. Цорын ганц үл хамаарах зүйл бол үндсэн цалин багатай боловч шимтгэлтэй зарим борлуулагчид юм.

Энэ ер бусын тохиргоо хэрхэн бий болсон бэ? Брайан үүсгэн байгуулагчид янз бүрийн газарзүйн хувьд үр дүнтэй нөхөн олговрын тэгш хандлагыг олохын тулд оюун ухаанаа уралдуулсан гэж хуваалцав. Эцэст нь энэ нь энгийн байдалд хүрсэн гэж тэр хэлэв.

“Бид хачирхалтай энгийн зүйл хийхээр шийдсэн. Стив, Жесс бид хоёрын төлөх гэж байсан цалинг аваад хүн бүрт төл. Бид гурав Сан Францискогийн булангийн бүсэд амьдардаг бөгөөд Стив бид хоёр тус бүр гурван хүүхэдтэй; Жилд 175,000 доллараар үнэлдэг санхүүгийн хүндрэлгүйгээр амьдрах боломжийг бидэнд олгох долларын тоо нь бидний байгуулахыг хүссэн багт наад зах нь бүх нийтээр хангалттай байх болно гэдгийг бид мэдэж байсан.Мөн бид хүн бүрийг хэлж байна: энэ бичвэрийн хувьд бид 23 ажилтантай, бид бүгд үүнийг хийдэг."

Энэхүү ер бусын арга нь компанийн үнэ цэнийг дэмждэг:

• Багаар ажиллах : "Нөхөн олговрын өөрчлөлтийг зөвтгөхийн тулд гүйцэтгэлийг тоон үзүүлэлтээр тодорхойлох хэрэгцээ нь технологийн салбарт гарч буй ихэнх буруу зүйлийн үндэс юм; Хүмүүсийг нэг баг болж хамтдаа амжилтанд хүрэхэд урамшуулахын оронд өөрсдийгөө ахиулахыг урамшуулдаг."

• Тэгш байдал : үүсгэн байгуулагчид хүмүүст хүссэнээрээ ханддаг бөгөөд ижил цалин нь хэлэлцээр хийхгүй гэсэн үг юм.

• Ил тод байдал : Хамтран ажиллагсад бие биедээ хэр их орлого олдгийг мэддэг тул төвөгтэй байж болзошгүй сэдвийг саармагжуулдаг.

Тус компани инфляцийг хянахын тулд үндсэн цалингаа жил бүр шинэчилдэг: 2024 онд хүн бүр 201,227 доллар олдог. Брайан хэрэв Оксид ирээдүйд олон тооны хүмүүсийг ажиллуулбал энэ загвар өргөжихгүй байж магадгүй гэдгийг хүлээн зөвшөөрсөн ч энэхүү нийлмэл аргын сүнс хэвээр үлдэнэ гэж найдаж байна.

Бусад ашиг тус. Оксид нь цалингаас гадна тэтгэмжийг санал болгодог - ихэвчлэн эрүүл мэндийн даатгал; АНУ-д маш чухал:

• АНУ-д эрүүл мэнд, шүд, харааны даатгал. Ажилчид болон асран хамгаалагчдад 100% цалин өгдөг.

• Халааснаас гадуурх эрүүл мэндийн болон хамааралтай тусламж үйлчилгээний зардалд зориулсан нэмэлт FSA төлөвлөгөө.

• Жилд 17,000 доллар хүртэл нөхөн төлдөг янз бүрийн мэс заслын зардал

• Тэтгэвэрт гарах төлөвлөгөө (401K)

• АНУ-ын алслагдсан бус хүмүүст зориулсан эмнэлгийн даатгал

Ил тод байдлын өөр нэг жишээ бол эдгээр ашиг тусын бодлогын баримт бичиг юм олон нийтэд ил болсон 2022 онд блогийн нийтлэл системийн инженер, iliana etaoin.

4. Хүнд жингийн ажилд авах үйл явц

Оксидын ажилд авах үйл явц нь миний харсан зүйлтэй адилгүй бөгөөд бид хэлэлцсэн Оффис дээрээ подкастын бичлэгийн үеэр багийнхантай хамт.

Дэлгэрэнгүй унших