Utkarsh Dalal
Verified Expert in Engineering
大数据开发人员
Utkarsh目前是一名全职自由开发者, 数据工程专业, scraping, 以及后端开发. Before this, 他曾在布鲁金斯学会印度中心和硅谷一家名为AutoGrid的清洁技术初创公司担任数据科学家和研究员. Utkarsh has a degree in computer science and political economy from UC Berkeley; he has extensive experience with Python, AWS, big data, 喜欢有社会影响的有趣项目.
Portfolio
Experience
Availability
首选的环境
RubyMine, PyCharm, GitHub, MacOS, Linux
The most amazing...
...我参与的项目是为印度创建一个实时碳排放追踪器, 印度政府现在用它来做规划.
Work Experience
技术主管和全栈开发人员
思想领袖(通过Toptal)
- 担任过全栈开发人员和技术主管, 使用Django在平台上实现了几个新特性, AngularJS, Heroku, 和AWS,加强数据收集工作,指导其他团队成员.
- 向平台添加了新的格式, including Twitch, 并设计了流程,以增强YouTube和播客数据的自动抓取,同时减少API的使用.
- 在Postgres数据库中设计了几个新表,并广泛使用Elasticsearch来查询和存储数据.
- 开发了一个经济有效的解决方案,使用Zapier为播客生成文本, Celery, and AWS.
- 通过优化Lambda使用,每月减少约70%的AWS成本, S3 storage, 去除冗余过程.
- 优化的Heroku dyno使用,减少预算,防止潜在的成本增加100%. 此外,当Heroku和GitHub之间发生安全事件时,还处理了几个库的升级和基础设施的迁移.
- 设计和开发授权后端,并通过BlueSnap将应用程序与支付网关集成.
- 创建了几个预测和自动化功能, 减轻公司其他垂直部门员工的负担.
- 使用AWS Kinesis Firehose、SNS、SQS、Lambda和S3设计端到端数据管道.
- 在S3中集成了AWS Athena和现有的JSON数据湖, 允许查询非结构化数据.
后端开发人员
Hoomi (total client)
- 设计和创建基础设施, databases, 以及使用DynamoDB的烘焙食品配送应用程序的api, Lambda, API Gateway, 以及Python和AWS Cognito进行身份验证.
- 使用AWS Cognito和React为面包店创建了一个订单管理前端系统, 使用我编写的api连接到DynamoDB数据库.
- 在DynamoDB中使用地理库,允许按位置进行索引和排序, 允许api按距离返回面包店.
- 利用DynamoDB中的本地二级索引按各种属性进行索引和排序, such as rating, price, distance, etc.
- 为客户和烘焙应用程序创建各种api, 正确处理身份验证, order histories, order statuses, etc.
数据仓库开发人员
保密保密协议(客户总数)
- 使用Heroku上的MongoDB数据库作为数据源,使用Stitch data作为ETL工具,在BigQuery中设计并开发了一个带有非规范化表的生产数据仓库.
- 使用Stitch Data每六小时从MongoDB中抽取一次, 确保只包含最近更新的数据.
- 创建定时查询,在从MongoDB提取数据后,在BigQuery中连接和加载数据到非规范化表.
- 使用Plotly和Jupyter Notebooks从BigQuery数据中创建图形和地理空间图,为客户演示.
- 为将来从事该项目的开发人员提供设置和查询BigQuery的完整文档说明.
- 研究将谷歌Analytics集成到BigQuery中,以跟踪从获取开始的客户生命周期.
- 在非规范化的BigQuery表上创建视图,使用户可以方便地查看数据库的最新状态.
- 与QA紧密合作,开发端到端测试数据仓库, 从自动提取到加载和视图.
Founder
Firmation
- 创立了一家法律科技初创公司,帮助印度律师自动化计时和计费, 节省他们的时间,增加他们的收入. 领导产品开发、销售、营销和开发.
- 构建了一个Azure应用程序,与OneDrive中的律师事务所时间表集成, and automatically generate invoices from them; used Oauth 2, 微软图形API, and Pandas.
- 使用Oauth 2和微软图形API构建一个Azure应用程序,该应用程序通过读取律师的Outlook电子邮件和日历,自动生成可计费工作的摘要.
- 通过Oauth 2、Gmail API和谷歌Calendar API将此功能扩展到谷歌帐户.
- 创建了带有API Gateway端点的AWS Lambda函数,最终用户可以访问这些端点来生成发票和可计费工作的摘要.
- 使用AWS SES将发票和可计费的工作摘要在生成时交付给律师.
- 给潜在客户打电话,发邮件, 向几个潜在用户演示了我们的产品, 并成功建立客户使用该产品.
- 设计一个网站,并处理营销使用b谷歌广告.
- 写了一个Python脚本来自动联系LinkedIn上的潜在线索.
刮工程师
Tether Energy
- 编写Bash和SQL脚本,在cron作业上运行,从纽约ISO网站下载数据,并使用Presto和Hive将其上传到Tether的数据仓库.
- 创建脚本自动获取巴西消费者的电费数据,然后使用JavaScript将其上传到S3存储桶, Puppeteer, and AWS.
- 使用JavaScript和2captcha自动解决验证码.
- 开发Python脚本,从各种格式的PDF电费账单中抓取数据,然后使用Tabula和Pandas将其上传到内部服务.
- 使用Pytest实现了一个健壮的回归测试框架,以确保正确抓取pdf.
- 通过使用Ruby on Rails添加新的端点和模型来增强内部API.
- 通过添加一个可以运行方法的JSON调度,改进了内部cron服务.
- 增加了关于如何在本地设置和测试各种内部服务的文档.
数据科学顾问
布鲁金斯学会印度中心
- 使用Python在Redshift中创建了一个数据仓库,其中包含一个大型印度州的一分钟分辨率需求数据, Pandas, and EC2. 数据大约是6 TB的列格式 .XLS文件压缩为 .rars.
- 在使用Vue的碳追踪器上为印度建立了实时碳排放追踪器.. js、Plotly、AWS S3、Route 53和Cloudfront.
- 《欧博体育app下载》对他的成就进行了专题报道.
- 使用Python为碳追踪器收集数据, BeautifulSoup, 和一个数字海洋小水滴, 将其存储在Lambda API使用的RDS实例中.
- 用Scikit-learn创建了一个机器学习模型, Python, 通过Redshift仓库的数据训练,来预测印度一个大邦的每日电力需求.
- 开发Python脚本,使用Selenium和Pandas从印度各邦政府网站上抓取住房数据.
- 使用AWS Lambda为碳排放跟踪器构建API, AWS API Gateway, Python, 以及一个AWS RDS MySQL实例,用于提供实时生成数据和各种统计数据.
高级软件工程师
AutoGrid系统公司.
- 领导一个陆上和海上的工程团队,并使用敏捷推动产品特性的及时开发和部署.
- 使用Ruby on Rails在AutoGrid的应用程序套件中实现了几个特性, MySQL, RSpec, Cucumber, Python, and Nose Tests.
- 创建了PySpark作业来汇总每日和每月的用电量报告,以便通过AutoGrid的客户门户使用HBase查看, Redis, and RabbitMQ.
- 使用Hive、HBase、Oozie设计并开发了一个数据仓库供客户使用. 该数据仓库用于取代AutoGrid完成的所有自定义内部可视化.
- 构建了一个API端点,允许最终用户使用Ruby on Rails和Twilio通过SMS选择退出需求响应事件.
- 优化了SQL查询,减少了40%的时间,使UI中的加载速度更快.
- 设计了一个消息传递微服务来发送和跟踪电子邮件, SMS, 以及通过Twilio和SendGrid打电话.
Experience
布鲁金斯学会印度电力和碳追踪系统
http://carbontracker.in确认时间跟踪器
成功在两家中型律师事务所试用该工具, 并不断改进以满足客户需求.
领导产品的设计、开发、销售和市场推广.
使用AWS Lambda和API Gateway作为后端,DynamoDB作为数据库. Also used Python, Pandas, AWS S3, 和SES生成并通过电子邮件向用户发送可计费的工作摘要. 使用AWS Cloudwatch每周自动生成并向用户发送可计费的工作摘要. 使用微软图形API和Gmail和谷歌Calendar API读取用户数据.
使用b谷歌广告和分析向用户销售, Leadpages承载我们的登陆页面, 个人推荐和推销邮件的结合.
Democrafy
它使用托管在Heroku上的Ruby on Rails后端,MongoDB作为数据库.
Bombay Food Blog
哈里亚纳邦医疗刮刀
CustomJob
WhatsApp事实核查
用户可以将可疑的假新闻转发给机器人进行举报, 或者看看有多少其他用户报告了它以及他们报告它的原因.
餐厅预订经理
经理允许餐厅登录, create tables, 创建/编辑保留, 并查看某一天的预订摘要.
Toptal React Academy
Skills
Languages
Python, SQL, Ruby, Java, Bash, XML, c++, HTML, CSS, JavaScript, Python 3
Frameworks
Ruby on Rails (RoR), Spark, Apache Spark, OAuth 2, Selenium, YARN, Redux, Flask, Hadoop, Presto DB, Django, AngularJS
Libraries/APIs
REST APIs, Pandas, PySpark, Gmail API, 谷歌日历API, Google Apps, 自然语言工具包(NLTK), PiLLoW, React, Scikit-learn, Matplotlib, Instagram API, 硒WebDriver, Beautiful Soup, Puppeteer, Node.. js, SQLAlchemy,谷歌API, OneDrive, Resque, React Redux, Vue, Keras, AWS Amplify, YouTube API
Tools
微软Azure应用服务, IPython, IPython Notebook, Jupyter, Stitch Data, 微软的Outlook, Azure应用服务, Seaborn, MATLAB, RabbitMQ, SendGrid, Cloudera, BigQuery, GitHub, PyCharm, RubyMine, Amazon Simple Email Service (SES), 谷歌分析, Amazon CloudFront CDN, Celery, Plotly, 亚马逊监测, Microsoft Excel, LeadPages, Tableau, Looker, Amazon弹性容器服务(Amazon ECS), Amazon Cognito, Cron, AWS简单通知服务(SNS), Amazon Simple Queue Service (SQS)
Paradigms
Automation, ETL, REST, Testing, 自动化测试, Agile, Data Science, 商业智能(BI), Microservices
Platforms
AWS Lambda, 亚马逊网络服务(AWS), Jupyter Notebook, 谷歌云平台, Amazon EC2, Apache Kafka, Twilio, DigitalOcean, Linux, MacOS, Droplets, Heroku, Firebase, Android, Kubernetes, Docker
Storage
MySQL, PostgreSQL, Redis, 关系数据库, Amazon S3 (AWS S3), Redshift, Apache Hive, HBase, NoSQL, JSON, Amazon DynamoDB, MongoDB, Databases, Elasticsearch
Other
Scraping, Web Scraping, PDF Scraping, Data Scraping, 工程数据, Big Data, Data Analytics, Data Analysis, Data Warehousing, 数据仓库设计, APIs, Web Crawlers, 微软图形API, Forecasting, Machine Learning, Serverless, 数据可视化, Cloud, Google Ads, Amazon Route 53, OAuth, 谷歌标签管理器, Image Processing, Time Series, Google BigQuery, Instagram Growth, 自然语言处理(NLP), Statistics, ECS, 亚马逊API网关, Geolocation, 用户身份验证, Amazon Kinesis, Architecture, Cost Reduction & 优化,BlueSnap, GPT,生成预训练变压器(GPT)
Education
计算机科学、政治经济学文学学士学位
加州大学伯克利分校-伯克利,加州
Certifications
总反应学院毕业生
Toptal, LLC