Ma'lumot mutaxassisi va ma'lumotlar muhandisi o'rtasidagi farq va nima uchun sizga g'amxo'rlik qilish kerak

Sun'iy intellekt (AI) tobora ko'payib borayotgan korxonalarning diqqat markaziga aylanib borar ekan, ushbu tashkilotlar kerakli odamlar va ko'nikmalarga ega bo'lish qanchalik muhimligini anglamoqda. Xususan, biz AI kabi tashkilotlarda ma'lumotlar oluvchilariga talabning sezilarli darajada oshganini, mashina o'rganish (ML) ning turli xil dasturlari, ML bo'lmagan bashoratli tahlillar va boshqa "katta ma'lumotlar" deb nomlangan yondoshuvlar tortishishni davom ettirmoqda. korxona. Darhaqiqat, ma'lumotlarga oid olimlarning katta talabi ko'plab korxona va tashkilotlarda uchraydigan iste'dodlarning pasayishiga olib keldi - biz bu haqda avvalgi yangiliklar va podkastlarimizda muhokama qilgan edik.

Kompaniyalar tobora tanqis ma'lumotlar bo'yicha olimlarni qidirmoqda va raqobatlashmoqda. Malakali ma'lumotli olimlar uchun ish haqi va imzo bonuslari tobora pasayib bormoqda va hozirda ma'lumot ilmiga ko'proq e'tibor qaratayotgan akademiyalarning soni ma'lumotlarga oid bilimlarga talab katta ekanligidan dalolat beradi. Biroq, olimlarga ma'lumot doimo ushbu tashkilotlar tomonidan kerak bo'lib turadimi? Ko'pgina korxonalar, sotuvchilar va startaplar ko'pincha ma'lumot olimi va ma'lumotlar muhandislarining rolini chalkashtirib yuborishadi. Ushbu turli xil rollarda ba'zi xususiyatlar va ko'nikmalar mavjud bo'lsa-da, ularning mohiyatiga ko'ra, ikkita bir-biridan farq qiladigan mahorat to'plamiga ega bo'lgan lavozim tavsiflari kiradi.

Ma'lumotlar bo'yicha mutaxassislar va ma'lumotlar muhandislari

Taxminan bir yarim o'n yil oldin biz Data Scientist pozitsiyasining paydo bo'lishini ko'rdik. Yuqoridagi maqoladan: "Ma'lumotlarga bo'lgan talabning o'sishi yirik Internet-kompaniyalarning muvaffaqiyati bilan bog'liq. Google, Facebook, LinkedIn va Amazon ma'lumotlaridan ijodiy foydalanish orqali o'zlarining belgilarini yaratdilar: nafaqat ma'lumotlarni yig'ibgina qolmay, balki uni ahamiyatli narsaga aylantirish. "Ajablanarlisi shundaki, ahamiyatli ma'lumotlarga ega bo'lgan har qanday tashkilot ma'lumotlar va fan olimlariga qaraydi. tobora ko'proq ma'lumot olish uchun ko'proq ma'lumot olish.

Statistik modellashtirish va ma'lumotlarni tahlil qilish asoslaridan kelib chiqqan holda, olimlar matematik va statistika, ilg'or analitika va tobora ko'proq mashina o'rganish / AI sohalariga ega. Ma'lumot olimi e'tiborini ajablanarli tomoni shundaki, ma'lumotshunoslik - ya'ni ma'lumotlar dengizidan foydali ma'lumotlarni qanday olish va biznes va ilmiy axborot ehtiyojlarini axborot va matematik tilga qanday tarjima qilish. Ma'lumot oluvchilar katta hajmdagi ma'lumotlardan foydali fikrlarni to'plashga yordam beradigan statistika, ehtimollik, matematika va algoritmlarning ustalari bo'lishi kerak. Ushbu ma'lumotlar bo'yicha olimlar odatda dasturlarni ishga tushirish va ma'lumotlarga ilg'or tahlillarni o'tkazish uchun dasturiy ta'minotni zaruriyatsiz deb bilishgan. Natijada, odatda, olimlar tomonidan yozilishi kerak bo'lgan kod minimal xususiyatga ega - faqat ma'lumotlarga oid vazifani bajarish uchun kerak bo'lganda (R ular uchun keng tarqalgan tildir) va ular toza bo'lganda yaxshi ishlaydi. kengaytirilgan tahlilni yoqish uchun ma'lumotlar. Ma'lumot olimi - bu farazni yaratadigan, ma'lumotlarni sinovdan o'tkazadigan va tahlil qiladigan, so'ngra natijalarni osonlikcha ko'rish va tushunish uchun tashkilotdagi boshqa birovga tarjima qiladigan olim.

Boshqa tomondan, ma'lumot olimlari katta hajmdagi toza ma'lumotlarga ega bo'lmasdan o'z vazifalarini bajara olmaydilar. Ma'lumotni ajratib olish, tozalash va ko'chirish haqiqatan ham ma'lumot olimi emas, balki ma'lumot muhandisining vazifasi. Ma'lumot muhandislari dasturlash va texnologiya bo'yicha tajribaga ega bo'lib, ilgari ma'lumotlar integratsiyasi, o'rta dasturlar, tahlillar, biznes ma'lumotlari portali va extr-transform-load (ETL) operatsiyalari bilan shug'ullanishgan. Ma'lumot muhandisining tortishish va ko'nikmalar markazi katta ma'lumotlar va tarqatilgan tizimlar atrofida joylashgan bo'lib, Java, Python, Scala kabi dasturlash tili va skript asboblari va texnikalari bilan ishlash tajribasiga ega. Ma'lumot muhandislari oldiga turli xil tizimlardan ma'lumotlarni strukturali va tuzilmagan formatlarda olish va odatda "toza" bo'lmagan, etishmayotgan maydonlar, ma'lumotlar turlarining nomuvofiqligi va boshqa ma'lumotlar bilan bog'liq bo'lgan vazifalarni yuklash vazifasi yuklanadi. Ushbu ma'lumotlar muhandislari barcha ma'lumotlarni tozalash uchun dasturlash, integratsiya, arxitektura va tizim ko'nikmalaridan foydalanishi kerak va uni ma'lumotlar olimi keyinchalik tahlilchilar, ma'lumot modellarini yaratish va tashkilot uchun taqdim etadigan format va tizimga solishi kerak. Shu tarzda, ma'lumot muhandisining roli ma'lumotlarni loyihalash, yaratish va tartibga soluvchi muhandisdir.

Birlashtirilgan ma'lumotlar bo'yicha olim-muhandis roli bo'lishi mumkinmi?

Ma'lumot olimi va ma'lumotlar muhandisining vazifalari bir-biridan farq qiladigan bo'lib tuyulishi mumkin bo'lsa-da, ma'lumotlar olimlari va ma'lumotlar muhandislari ko'plab xususiyatlar va mahorat to'plamlarini bo'lishadilar. Bularning bir-biriga o'xshash ko'nikmalariga katta ma'lumotlar to'plamlari bilan ishlash va ularni boshqarish zaruriyati, ma'lumotlarga operatsiyalarni qo'llash uchun dasturlash ko'nikmalari, ma'lumotlarni tahlil qilish ko'nikmalari va tizim operatsiyalarini umumiy ravonligi kiradi. Katta ma'lumotlar instituti ma'lumotlar olimlari va muhandislarining rollarini va ularning mahoratlari bir-biriga mos keladigan joylarni tasavvur qilishga yordam beradigan yaxshi sxemani ishlab chiqdi.

Bir-biriga zid bo'lgan holatlar aniq bo'lsa-da, ma'lumotlar olimi va ma'lumotlar muhandisining ahamiyati hali ham farq qiladi va natijada ular bir-birini almashtirib bo'lmaydilar. Eng muhimi, ma'lumotlar bo'yicha mutaxassislar va ma'lumotlar muhandislari bilan suhbatlashish va yollashda siz o'zingizdan kerakli savollarni berishingiz va nomzodingizdan kerakli ko'nikmalarni izlashingizga ishonch hosil qilishingiz kerak. Ma'lumot olish bo'yicha olimlardan ko'p vaqtlarini ma'lumot muhandisligiga sarflashni so'rayapsizmi? Ma'lumot muhandislarining tajribasi, tayyorgarligi va hattoki qobiliyati yoki xohlashidan ko'ra ko'proq ma'lumot ilmini talab qilyapsizmi? Siz ma'lumot fanlari bo'yicha pozitsiya uchun intervyuda muhandislik savollarini yoki ma'lumotlar muhandisligi asosidagi ish uchun intervyuda ma'lumot fanlariga oid savollarni berib, ish joyingizdagi nomzodlarni chalkashtiryapsizmi?

Eng muhimi, ma'lumotlarga oid kodlar akademiyalari, mahorat darslari va treninglarning ko'payishi savol tug'diradi: ushbu o'quv va kodlar akademiyasi faoliyati ma'lumotlar ilmi orqasida fanga yo'naltirilganmi yoki ma'lumot muhandisligi asosidagi muhandislik va dasturlashmi? Yoki undan ham yomoni ... bu tadbirlar ma'lumot fanlari bilan bir oz muhandislik qilib, ularning ishtirokchilari va ishtirokchilariga etarlicha e'tibor qaratmaslik yoki saralashni qiyinlashtiradimi, bu odamlar ushbu katta ma'lumotlar va ML tahlilining qaysi sohasiga e'tibor qaratish kerakligini aniqlash orqali?

Garchi siz fan sohasida bir oz muhandislik yoki bir oz fanni muhandislik rolida bajarishingiz mumkin bo'lsa-da, rollarni aralashtirish sizning ML yoki ma'lumotlar ilmi tashabbusi bilan tashkilotingiz muvaffaqiyatiga juda zararli bo'lishi mumkin. Ma'lumoti, bilimlari va qobiliyatisiz muhandislik vazifalarini bajarishga majbur qilingan ma'lumotlar bo'yicha olimlar texnologiyani noto'g'ri sozlashi yoki noto'g'ri ishlatishi yoki samarasiz, qimmatga tushadigan va vaqtni behuda sarflaydigan dasturlarni yozishi mumkin. Xuddi shu tarzda, muhandislik ma'lumotlari va murakkab ma'lumot matematikasini o'rganish qobiliyatiga ega bo'lgan shaxslardan so'rab murojaat qilish, tashkilot uchun ma'lumot to'g'risida noto'g'ri xulosalarga olib kelishi mumkin, bu esa noxush oqibatlarga olib kelishi mumkin. Ixtisoslashuv juda muhim - shuning uchun shifokorlar ko'rikdan o'tishadi va phlebotomistlar qonni chizishadi. Laboratoriya natijalarini tushunish uchun shifokor sizning qoningizni va phlebotomistni jalb qilishi mumkin, ammo nega o'z qulayligingiz va sog'lig'ingizni xavf ostiga qo'yishni xohlaysiz?

Ma'lumotlar bo'yicha mutaxassis sizning tashkilotingizda qayerga mos keladi?

Shunday qilib, ko'pgina tashkilotlar ma'lumotshunoslar echimini talab qiladigan muammolarni hal qilishga harakat qilsalar, ham ma'lumot olimi, ham ma'lumot muhandisi vazifalariga muhtoj. Ushbu rollarni bir-biri bilan almashtirish mumkin emasligi sababli, yagona, sehrli, ma'lumot olimi-muhandisning yagona tugunini qidirishga urinish noto'g'ri. Shunga qaramay, sizning tashkilotingizda ko'plab ma'lumot olimi va muhandislarga ehtiyoj sezishi mumkin bo'lsa-da, ularning nisbati kamdan-kam hollarda 1: 1 ni tashkil qiladi. Ko'pgina tashkilotlar uchun ma'lumotlar oluvchilariga qaraganda ko'proq ma'lumot muhandislariga ega bo'lish mantiqan. Buning sababi shundaki, ma'lumotlar olimlari katta hajmdagi toza ma'lumotlar bilan ishlashni o'rgandilar, ammo ko'plab turli xil tizimlardan ko'plab toza ma'lumotlarni olish ko'p vaqtli ish bo'lishi mumkin. Ma'lumot modellarini kontseptualizatsiya qilish va ma'lumotlar to'plamiga qarshi tahlillarni amalga oshirishdan ko'ra ma'lumotlarni ko'chirish va tozalash uchun ko'proq harakat talab etiladi.

Shuningdek, ko'pgina tashkilotlarda ma'lumotlar olimi uchun tashkiliy hisobot tuzilishi noto'g'ri. Biz tez-tez ma'lumotlar bo'yicha mutaxassislarning texnik guruhga hisobot berishini ko'ramiz. Biroq, bu mantiqiy emas. Ma'lumot olimi (odatda) texnologiyaga xos, amalga oshirishga oid savol va ma'lumot tahlilini so'ramaydi. Ko'pincha ma'lumotlar olimi duch keladigan muammolar biznes yo'nalishiga xosdir. Shunday qilib, ma'lumotlar olimi ma'lumot ishlab chiqaruvchisi yordam beradigan biznesning aniq yo'nalishlarini aks ettiradigan biznesning strategik qarorlarini qabul qilish to'g'risida hisobot berishi kerak.

Agar ma'lumotlar bo'yicha mutaxassislar biznesga oid markaziy vazifalar bo'lsa, biz ma'lumot olimi uchun biznesga oid vositalarni ko'ramizmi?

Agar biz haqiqatan ham ma'lumotlar ilmi va muhandislikni tashkilotda alohida rol sifatida ko'rsak, unda ular kerak bo'lgan vositalar haqida ham o'ylash mantiqiy bo'ladi. Ma'lumotni o'rganish / mashinani o'rganish dunyosiga kiradigan ko'plab sotuvchilar suvni ifloslantirmoqdalar va narsalarni yanada chalkashtirib yuborishmoqda. Ular o'zlarining ma'lumotlarini ma'lumotlar olimi uchun deyishadi, lekin bu vositalar haqida hamma narsa birinchi navbatda ma'lumotlar muhandislari uchun, "fanchilar uchun algos". Ammo bu mantiqiy emas. Ma'lumot olimi uchun tabiiy muhit analitik, ma'lumotlarga yo'naltirilgan, modelga asoslangan vositadir, bu ma'lumotlarni tozalash, ma'lumotlarni ko'chirish va shaxsiy muhitingizdan bulutlarga ko'chirish uchun katta tugmachalarga ega. Bu haydovchi o'qituvchiga avtomobilning bo'laklarini berish va "bu mashinani o'zingiz qurib, keyin boshqalarga uni qanday boshqarishni o'rgating" deyishga o'xshaydi.

Muhandislik va dasturlash-markaziy vositalardan ko'ra ma'lumotlar olimi ma'lumotlarga yo'naltirilgan vositalarga muhtoj. Hozirgi vaqtda ma'lumotlar oluvchilarining ehtiyojlariga javob beradigan, ko'pincha ma'lumotlar yoki bashorat qilish muhitidan kelib chiqadigan ushbu vositalar tobora ko'payib bormoqda. Ammo, ehtimol, biznesga oid vositalar ko'proq mos bo'lishi mumkin, ayniqsa olimlarning ma'lumotlari biznes yo'nalishiga ko'proq kirib borgan sari. Masalan, o'nlab yillar oldin, agar siz katta hajmdagi ma'lumotlarga elektron jadval ko'rinishidagi formatda ishlamoqchi bo'lsangiz, bu dasturlash bilan shug'ullanadi, ammo Excel kabi vositalar pivot jadvallari kabi narsalarni taqdim etdi va endi biznes menejerlari har xil tahlillar bilan bema'ni ko'rinishga kirishmoqda. Biz ma'lumotni o'rganish qobiliyatiga ega bo'lgan Excel singari vositalarni yoki biznesga oid ma'lumotlarni qidirish va tahlil qilish vositalari kabi ML modellarini qo'shishni boshlaymizmi? Biz shunday deb o'ylaymiz! Qanday bo'lmasin, texnologiyalarga asoslangan kompaniyalar, sizning pulingiz uchun yugurishga tayyorlaning. Ma'lumot muhandisligi bo'yicha "ML platformasi" haqiqiy raqobatga ega bo'ladi.

Ma'lumot oluvchilar uchun iste'dodlar orasidagi bo'shliq tobora kengayib borar ekan, biz texnik bo'lmagan (o'qish: biznes) odamlarga ma'lumotlarni boshqarishga, sinab ko'rishga va tahlil qilishga imkon beradigan yangi vositalarni ko'ramiz. Strategik biznes menejerlari ma'lumot ilmini o'rganishni dasturiy ta'minot yoki ma'lumotlar integratsiyasi tajribasiga muhtoj yoki xohlamasdan boshlashadi. Ma'lumotlarning juda murakkab tahlilini o'tkazish uchun an'anaviy ma'lumotlar olimlariga hali ham zarur bo'ladi. Ammo, aksariyat hollarda, asosiy tahlil qilish, tobora ko'proq foydalanishga yaroqli vositalar tufayli biznes uchun ko'proq bo'ladi. Bu shuni anglatadiki, korxonada ML va ma'lumotlar ilmi uchun qaysi vosita yoki texnologiya ustunlik qiladi.

Aytganingizdek, Cognilytica ma'lumotlar olimi, ma'lumot muhandisi va ikkalasi uchun vositalar bilan nima sodir bo'lishiga juda katta e'tibor beradi. Biz sotuvchilarni tahlil qildik va sotuvchilar qayerga yo'nalishini bilamiz. Biz bilamizki, ko'plab sotuvchilar yo'lni chalg'itadigan vositalar bilan bozorni yo'ldan ozdirmoqdalar. Ushbu bozorga hamma "ML / AI platformasi" sifatida bayroq o'rnatishga harakat qilayotganini ko'rmoqdamiz. Biz bir nechta haqiqiy g'oliblar bo'lishini bilamiz va biz kim g'olib va ​​kim emasligini saralashni boshladik. Agar siz o'yinchilar haqida ko'proq ma'lumotga ega bo'lishni istasangiz, ma'lumotlar olimi va ma'lumotlar muhandisining o'rni sizning tashkilotingizga qanday mos kelishini va ushbu tendentsiyalar qanday o'zgarib borayotganini, biz bilan bog'lanishni va ko'plab firmalardan biri bo'lishni bilishni istasangiz. ushbu sayohatda AI / ML muvaffaqiyatiga yo'nalishda yordam berish.