همکاران سیستم- شرکت Databricks که توسط بنیانگذار Apache Spark مدیریت میشود، نخستین بار سرویس خدمات Spark خود مبتنی بر فضای رایانش ابری را به صورت عمومی در سال ۲۰۱۵ میلادی در اختیار کاربران سازمانی قرار داد. این خدمات در قالب یک سرویس واحد ابری ارایه شده بود و شرکت Databricks به تنهایی آن را پشتیبانی میکرد، ولی به صورت فیزیکی زیرساختهای آن توسط مرکز خدمات پردازش ابری AWS آمازون پشتیبانی میشد.
به گزارش وب سایت Zdnet؛ در بخش دیگر روی پلتفرم Azure مایکروسافت روشهای فراوانی ارایه شد تا کاربران سازمانی بتوانند سیستمهای Apache Spark از جمله HDInsight، Azure Batch Service، Data Science Virtual Machines و … را راهاندازی کنند که البته به تازگی سرویس Azure Machine Learning هم به خدمات مذکور اضافه شد. با این وجود آن دسته از کاربران سازمانی که قصد داشتند به صورت کامل همه سرویسهای Databricks را مورد استفاده قرار دهند، مجبور بودند که آنها را مبتنی بر معماری AWS به کار بگیرند.
ولی هم اکنون سرویس جدیدی با نام Azure Databricks یا به صورت اختصاری ADB عرضه شده است که کارکردهای جدیدی از خدمات Apache Spark را در اختیار کاربران قرار میدهد و البته تمامی امکانات ارایه شده از سوی آن مبتنی بر معماری پلتفرم Azure مایکروسافت است.
سرویس ADB به صورت مستقیم توسط Azure Blob Storage و Azure Data Lake Store پشتیبانی میشود و دیگر استانداردهای تعیین شده برای آن به گونهای طراحی شدهاند که کاربران سازمانی بتوانند به طور مستقیم به خدمات Azure SQL Database و SQL Data Warehouse دسترسی داشته باشند و از طریق Power BI مایکروسافت به این سرویس متصل شوند.