利用Amazon Bedrock解锁AWS成本与使用情况洞察

主要要点

管理云端成本和理解资源使用情况对于拥有复杂AWS部署的组织来说是一项艰巨的任务。尽管AWS成本与使用报告AWS CUR提供了宝贵的数据洞察，但诠释和查询原始数据常常具有挑战性。

在这篇文章中，我们将探索一种利用生成式人工智慧的解决方案，帮助用户根据自然语言问题生成SQL查询。此解决方案简化了对存储在Amazon Athena数据库中的CUR数据的查询过程，使查询的结果能在网页上直观展示，便于用户理解。

解决的挑战

以下挑战可能会妨碍组织有效分析CUR数据，造成潜在的不效率、超支和错失成本优化机会。我们的目标是针对这些挑战，利用生成式AI和Amazon Bedrock进行简化。

解决方案概述

我们讨论的解决方案是一个网页应用程序聊天机器人，允许用户使用自然语言询问与AWS成本和使用情况相关的问题。应用程序根据用户的输入生成SQL查询，并在包含CUR数据的Athena数据库中执行这些查询，结果以用户友好的格式呈现。

此解决方案涉及以下AWS服务：

以下是解决方案架构的示意图：

数据流程步骤

前提条件

为了设置此解决方案，您应具备以下前提条件：

配置解决方案

完成以下步骤以设置解决方案：

bash pip install langchain==020 langchainexperimental==0059 langchaincommunity==020 langchainaws==014 pyathena==382 sqlalchemy==2030 streamlit==1340

使用以下代码与langchain库一起建立对Athena数据库的连接，并配置语言模型以根据用户输入生成SQL查询。您可以将此文件保存为curlibpy。

python from langchainexperimentalsql import SQLDatabaseChain from langchaincommunityutilities import SQLDatabase from sqlalchemy import createengine URL from langchainaws import ChatBedrock as BedrockChat from pyathenasqlalchemyrest import AthenaRestDialect

class CustomAthenaRestDialect(AthenaRestDialect) def importdbapi(self) import pyathena return pyathena

# DB变数 connathena = athenauswest2amazonawscom portathena = 443 schemaathena = mycur s3stagingathena = s3//curdatatest01/athenaqueryresult/ wkgrpathena = primary connectionstring = fawsathenarest//@{connathena}{portathena}/{schemaathena}s3stagingdir={s3stagingathena}/ampworkgroup={wkgrpathena} url = URLcreate(awsathenarest query={s3stagingdir s3stagingathena workgroup wkgrpathena}) engineathena = createengine(url dialect=CustomAthenaRestDialect() echo=False) db = SQLDatabase(engineathena)

# 设置LLM modelkwargs = {temperature 0 topk 250 topp 1 stopsequences [nnHuman]} llm = BedrockChat(modelid=anthropicclaude3sonnet20240229v10 modelkwargs=modelkwargs)

# 创建提示 QUERY = Create a syntactically correct athena query for AWS Cost and Usage report to run on the mycur table in mycur database based on the question then look at the results of the query and return the answer as SQLResult like a human {question} dbchain = SQLDatabaseChainfromllm(llm db verbose=True)

def getresponse(userinput) question = QUERYformat(question=userinput) result = dbchaininvoke(question) query = result[result]split(SQLQuery)[1]strip() rows = dbrun(query) return fSQLQuery {query}nSQLResult {rows}

python import streamlit as st from curlib import getresponse import os

stsetpageconfig(pagetitle=AWS Cost and Usage Chatbot pageicon=chartwithupwardstrend layout=centered initialsidebarstate=auto menuitems={ Get Help https//docsawsamazoncom/cur/latest/userguide/curcreatehtml #Report a bug About # 这个应用的目的是帮助您更好地了解您的AWS成本和使用报告！ })#HTML标题 sttitle(orange[简化] CUR数据 sunglasses)

def formatresult(result) parts = resultsplit(nSQLResult ) if len(parts) gt 1 sqlquery = parts[0]replace(SQLQuery ) sqlresult = parts[1]strip([])split() () formattedresult = [] for row in sqlresult formattedresultappend(tuple(itemstrip(()) for item in rowsplit( ))) return sqlquery formattedresult else return result []

def main() # 获取当前目录 currentdir = ospathdirname(ospathabspath(file)) stmarkdown(

   userinput = sttextinput(您： key=userinput)   if userinput       try           result = getresponse(userinput)           sqlquery sqlresult = formatresult(result)           stcode(sqlquery language=sql)           if sqlresult               stwrite(SQLResult)               sttable(sqlresult)           else               stwrite(result)           stsessionstatechathistoryappend({user userinput bot result})           sttextarea(对话纪录： value=njoin([f您： {chat[user]}n机器人： {chat[bot]} for chat in stsessionstatechathistory]) height=300)       except Exception as e           sterror(str(e))   stmarkdown(lt/divgt unsafeallowhtml=True)